PLANEJANDO A AVALIAÇÃO
MATRIZ AVALIATIVA
PLANEJANDO A AVALIAÇÃO
COMO DEFINIR O FOCO
DA AVALIAÇÃO ?
Por que iniciar um processo de Avaliação ?
Qual o seu propósito e que perguntas irá responder?
Qual será o uso dado às conclusões? Por quem?
O que deve ser avaliado, qual o objeto ? Você está
interessado em avaliar o processo, os resultados ?
Qual será o papel dos envolvidos? Quem vai participar?
Quem tem condições de ajudar na avaliação? Será necessário
avaliador externo?
Existem recursos e tempo para avaliação?
O Programa ou Projeto já foi avaliado?
Qual o clima político e o contexto em torno da Avaliação?
PLANEJANDO A AVALIAÇÃO
QUEM DEVE CONDUZIR A
AVALIAÇÃO ?
AVALIADORES EXTERNOS - menos parciais em seus
julgamentos; credibilidade, especialistas por demandas
específicas, dirigem um “novo olhar” facilita e enriquece a
coleta de dados mais controversos/conflituosos menos
pressão em caso de resultados pouco populares.
AVALIADORES INTERNOS - maior conhecimento sobre o
modelo e história do projeto; profundidade quanto aos
interesses e preocupações dos interessados; conhecem a
dinâmica dos processos decisórios e identifica as pessoas
chave; continua na organização podendo seguir esforços;
maior rapidez na avaliação; capacidades e limitações bem
conhecidas.
AVALIADORES EXTERNOS E INTERNOS - a parceria
incorpora as vantagens de cada uma e gera aprendizagem
para uso institucional no futuro.
PLANEJANDO A AVALIAÇÃO
2.
IDENTIFICAÇÃO DOS INTERESSADOS
MARCO ZERO
As pessoas, os grupos ou as instituições que têm interesse ou são
diretamente afetados pelo programa / projeto ou pela avaliação que se
pretende implementar. Público - Alvo ; Agentes Sociais relevantes
( ex: líderes formais ou informais e as famílias, etc)
PROCESSO
•
•
•
O Conteúdo : conceitos, objetivos e visões que orientam a
concepção do projeto;
A Interação : relações humanas internas e externas
( especialmente com o público-alvo );
Os procedimentos : o método e a técnica adotada na
execução das ações.
RESULTADOS
Todos os envolvidos : ( ex. crianças, famílias, os representantes
da comunidade, a própria instituição responsável pelo projeto,
parceiros e as instituições financiadoras ).
PLANEJANDO A AVALIAÇÃO
COMO ELABORAR UMA
MATRIZ AVALIATIVA
1
PERGUNTA AVALIATIVA
2
INDICADORES QUALITATIVOS E QUANTITATIVOS
3
FONTES DE INFORMAÇÃO
4
MÉTODOS PARA COLETA DE DADOS
5
PROCEDIMENTOS PARA COLETA DE DADOS
(AMOSTRA, ESTRATÉGIAS, CRONOGRAMA
6
MÉTODOS PARA ANÁLISE DOS DADOS
7
ESTRATÉGIAS DE INTERPRETAÇÃO
8
PROCEDIMENTOS PARA DIVULGAÇÃO
PÚBLICOS , CONTEÚDO, FORMATO E CRONOGRAMA
9
ORÇAMENTO
1. SELEÇÃO DAS PERGUNTAS
1ª FASE - DIVERGENTE
- é elaborada uma lista de “todas” ou de
“muitas” perguntas consideradas importantes para quem está solicitando a
Avaliação, para quem está financiando, para quem trabalha no projeto, para
quem é atendido e suas respectivas famílias, para lideranças locais onde o
projeto é desenvolvido , e outros.
INSTRUMENTOS : reuniões de grupo, entrevistas Individuais e até
conversas informais são abordagens mais indicadas para se chegar a essa
ampla lista de perguntas.
2ª FASE - CONVERGENTE
é o esforço para selecionar dessa grande
lista as perguntas que deverão ser efetivamente respondidas pela Avaliação.
CRITÉRIOS : Grau de importância da pergunta para os interessados;
Possibilidade de reduzir dúvidas existentes ou produzir informações novas, não disponíveis no momento;
Oportunidade de produzir informações relevantes, que podem
influenciar decisões;
Foco em aspectos críticos – referência de longo prazo;
Influência no alcance e nos objetivos da Avaliação ;
Viabilidade no tempo e com os recursos financeiros, humanos e
metodológicos disponíveis.
MATRIZ PARA SELEÇÃO DAS PERGUNTAS
Perguntas Avaliativas
Fase Divergente
CRITÉRIOS
1
A pergunta é relevante para os interessados?
Contribui para diminuir dúvidas e trata de
informações que não estão disponíveis?
Possibilita gerar informações que facilitam
tomada de decisões operacionais de política?
Está centrada em elementos críticos e de
interesse constante e não passageiros?
Os objetivos ou a amplitude seriam
comprometidos sem ela?
É possível responder a esta pergunta com os
recursos financeiro e de pessoal disponíveis?
É possível responder esta pergunta com os
métodos e as tecnologias disponíveis?
É possível responder a esta pergunta dentro do
tempo que se dispõe?
RESULTADO FINAL ( somatório de respostas
positivas )
2
3
4
5
6
N
2. IDENTIFICAÇÃO DOS INDICADORES
Ao serem selecionadas as perguntas, faz-se necessário
em seguida pensar em respondê-las. Identificar as informações
para se chegar às respostas e estratégias mais adequadas para
se coletar as informações.
Os INDICADORES são referências que ajudam a responder
às Perguntas Avaliativas. São elementos concretos que indicam
a medida de sucesso ou fracasso em relação aos processos e
resultados esperados. São observáveis na realidade, vão orientar os
métodos da coleta de informações.
ROTEIRO PARA PRIORIZAÇÃO DOS INDICADORES
O indicador proposto é suficientemente representativo?
Estão referenciados a partir dos objetivos, metas e ações?
O indicador é aceito por ampla gama de especialistas internos e
externos ?
O indicador é compreensível para os não especialistas ?
TIPOS DE INDICADORES :
QUANTITATIVOS: medir “o que acontece/aconteceu”
(deve mostrar a extensão da questão objeto da avaliação e as
características da população alvo).
QUALITATIVOS: analisar “como e porque
acontece/aconteceu” ( deve explorar um problema e suas
possíveis soluções).
QUALIDADE DOS INDICADORES :









Simplicidade
Confiabilidade
Validade
Verificabilidade
Disponibilidade / Acessibilidade
Robutez
Sinteticidade
Discriminatoriedade
Cobertura
ETAPAS DO PROJETO
INDICADORES DO PROJETO
7. Avaliação de Resultados do
Projeto
7. Usuários com novas percepções, mais
autoconfiantes e com auto estima elevada.
6. Avaliação do comportamento
e atitudes dos profissionais
6. Profissionais oferecendo maior diversidade
de atividades e abertos a escolhas de atividades
pelos usuários.
5. Avaliação dos conhecimentos
adquiridos
5.
Profissionais
demonstrando
conhecimentos adquiridos.
4. Avaliação do grau de satisfação
dos participantes
4. Satisfação dos participantes quanto as
atividades
expressa
em
instrumentos
preenchidos ao final das atividades.
3. Avaliação da participação
(numérica e de envolvimento)
dos participantes
3. Percentual de participação nas atividades e
registros de observação quanto ao grau de
participação.
2. Implementação das
Atividades previstas
2. Cumprimento das atividades previstas no
projeto, bem como atividades não previstas
realizadas.
1. Recursos físicos, financeiros,
pessoas
e
conhecimento
disponibilizados
1. Grau de disponibilização e uso de recursos
físicos, financeiros, pessoas e conhecimentos
disponibilizados.
novos
OBJETIVO
PERGUNTA
AVALIATIVA
EX:
Avaliar o Resultado
do Projeto X.
1ª Qual é o percentual de
promoção de séries das
crianças envolvidas no
Projeto ?
“ Cultura em Foco”
A cultura como
instrumento para
formação integral das
novas gerações.
Trabalha com jovens
no horário alternado à
escola com ações na
área de cultura e arte
como apoio á
escolarização.
2ª Em que medida as
crianças apresentam
mudanças sócio-culturais
e comportamentais
relacionadas à
convivência na escola e
no contexto familiar ?
INDICADOR ( ES )
Trata de informações quantitativas , sem
alto grau de dificuldade para seu
desdobramento em Indicadores
 Aprovação escolar;
 Evasão escolar.
Exige um esforço maior e devem ser
propostos por educadores e outros
especialistas da área envolvidos no
Projeto. Retoma os dados do MARCO
ZERO para identificar os comportamentos
que eram alvo de determinadas questões
e devem ser modificados com a
intervenção do Projeto
 Gosto pela leitura e pela escrita;
 Domínio da linguagem oral;
 Capacidade de resolver problemas no
cotidiano;
 Capacidade de adotar regras de conduta;
 Capacidade de ouvir o outro;
 Capacidade de lidar com diferenças;
 Capacidade para participar de atividades
em grupo;
 Incorporação e hábitos culturais;
 Afetividade junto à família;
 Auto estima;
 Sociabilidade.
OBJETIVO GERAL : Ampliar o grau de satisfação e motivação dos professores da 2ª CRE do Município de
Florais com vistas a imprimir maior qualidade aos processos de aprendizagem dos alunos e reduzir os indicadores
retenção e evasão escolar da 2ª CRE.
OBJETIVO
ESPECÍFICO
ATIVIDADES
Realizar Visitas Técnicas a
outras Unidades Escolares e
projetos similares que atuam
de forma
Qualificar
professores
nas áreas de
Planejamento,
novas
Metodologias
e formas de
Avaliação
escolar da 2ª
CRE.
INDICADORES
QUANTITATIVOS
INDICADORES
QUALITATIVOS
Número de Visitas realizadas;
Freqüência Assiduidade dos
participantes;
Participação;
Motivação;
Comportamento Propositivo;
Capacidade de articulação
com as questões do cotidiano
escolar.
Cursos de Capacitação nas
áreas de Planejamento
Escolar; Novas Metodologias
e Processos de Avaliação
Desempenho (grau ) obtido nos
Trabalhos de Avaliação de cada
Módulo;
Freqüência e Assiduidade;
Número (percentual) de
ingressantes e concluintes.
Participação, Aquisição de
novos conhecimentos;
Interação espírito de equipe;
Liderança;
Autonomia;
Desenvolver Oficinas para
potencializar novas
habilidades pedagógicas que
atuem como eixo motivacional
e de elevação da auto estima
que incidam nas práticas de
ensino.
Número de Oficinas e
realizadas;
Freqüência e Assiduidade dos
participantes;
Aquisição de novas
habilidades pedagógicas;
Motivação;
Auto Estima;
Capacidade de socialização
dos conhecimentos e
experiências;
Produção de práticas criativas
de ensino
Realizar Grupos Focais entre
Professores, Equipe e Direção
visando monitoramento e
avaliação das ações
desenvolvidas.
Número de Grupos e
realizados;
Instrumentos aplicados;
Relatórios produzidos;
Depoimentos individuais e
grupais;
Nível de satisfação com o
trabalho realizado;
OBJETIVO
PERGUNTA
AVALIATIVA
EX:
Avaliar o
Resultado e
o Impacto do
Projeto X.
Quais os Efeitos e
Impactos do
Projeto X
implantado
em 10 comunidades
da Zona Norte da
Cidade
do RJ para atender
jovens evadidos do
ensino fundamental,
sem atividade
laboral e sem
qualificação
profissional durante
o período
1999/2002 ?
INDICADOR ( ES )
RESULTADO
 Conclusão do ensino
fundamental;
 Capacitação para o
mundo do trabalho;
 Empregabilidade;
 Elevação da renda
familiar;
 Acesso aos bens e à
rede de Serviços Locais;
 Ressignificação das
relações afetivofamiliares e comunitárias;
 Mudança de hábitos e
padrões de risco;
 Outras formas de
inclusão e conquistas
evidenciadas.
IMPACTO
 Elevação dos índices de
escolarização;
 Elevação dos níveis de
renda e maior atividade
econômica local;
 Redução dos índices de
mortes por causas
externas
( violentas );
 Redução dos índices de
incidência/reincidência de
jovens envolvidos em
conflitos com a lei;
 Participação
comunitária;
 Fortalecimento da rede
protetiva local;
 Implantação de
políticas/programas
intersetoriais voltados
para jovens;
 Implicações ecológicas;
 Educação ambiental.
Programa
Inter Ação
Objetivo
PERGUNTA
AVALIATIVA
INDICADOR ( ES )
1ª Em que
medida o Projeto
está conseguindo
contribuir para o
desenvolvimento
físico adequado
das crianças e
adolescentes
atendidos ?
 Existência de estratégia adequada para
acompanhamento periódico da curva de
crescimento (peso e altura) ;
 Percentual de crianças e adolescentes na faixa
normal da curva de crescimento;
 Existência de estratégias adequadas para
atendimento especial face a problemas de
crescimento e/ou nutrição;
 Percentual com problemas de crescimento que
estão recebendo atendimento especializado.
Ampliar as
oportunidade
s de inclusão 2ª Em que medida
social de
o Projeto contribui
crianças e
para o
adolescentes
desenvolvimento
que vivem
cognitivo e de
em situação
habilidades e
de risco na
competências
cidade do RJ. necessárias para o
sucesso das
crianças na
escola e na vida ?
 Desenvolvimento do gosto pela leitura, pela
escrita e domínio da língua oral;
 Desenvolvimento de raciocínio lógico e
capacidade resolutiva para o cotidiano;
 Desenvolvimento de regras de conduta,
habilidades para trabalhar diferenças, ouvir o
outro , trabalhar em grupo e criatividade;
 Evolução das notas escolares, percentual de
aprovação, de matriculados na escola e de evasão
escolar.
3.
SELEÇÃO DAS FONTES DE INFORMAÇÃO
Continuando o processo para responder às PERGUNTAS
AVALIATIVAS, é o momento de se determinarem quais as
FONTES que poderão oferecer as INFORMAÇÕES necessárias
sobre os INDICADORES.
Deve-se tomar cuidado com a tendência de achar que sempre é
necessário coletar novas informações.
MUITAS VEZES JÁ EXISTEM ( documentos oficiais do projeto, fichas
individuais, etc ) e só PRECISAM SER ORGANIZADAS .
É preciso IDENTIFICAR ONDE será possível CONSEGUIR AS
INFORMAÇÕES e/ou QUEM PODERÁ FORNECÊ-LAS,
para seguir no processo de seleção dos métodos e
instrumentos mais adequados.
FONTES
FONTES PRIMÁRIAS Todo material que não recebeu uma tratamento analítico
( proveniente dos sistema de informação e registro convencional e cotidiano da
organização – contábil, financeiro, gerencial, fiscal, registros de produção e
serviços prestados, comercialização, administração de pessoal, registros de
clientes, etc;)
Todo o material recolhido pela própria ou por outras pesquisas – entrevistas e
observações; material oriundo da documentação formal e informal – referente à
constituição e manutenção da organização
RECURSOS :
Registros e bancos de dados estatísticos produzidos por
organizações públicas e privadas- IBGE, FGV, DIEESE, IDH, IPEA, etc;
Material e documentos de comunicação de massa ( jornais, revistas, etc).
Material e os documentação pessoal cartas, diários, biografias, fotos, etc
FONTES SECUNDÁRIAS São aquelas que passaram por alguma forma de
elaboração analítica.
São constituídos principalmente por livros, teses, dissertações, monografias e
artigos científicos, técnicos e profissionais, na forma de papel ou em meio de
registro computacional.
RECURSOS : Os recursos secundários convencionais são: Bibliotecas,
Institutos de Pesquisa e Formação, Bancos de Dados e a Internet.
3.
SELEÇÃO DAS FONTES DE INFORMAÇÃO
FONTES MAIS USADAS:
Destinatários do Projeto/Programa ( público alvo )
Implementadores do Projeto/Programa (AS, professores, instrutores,etc)
Pessoas que se relacionam com os destinatários ( família, supervisores,
colaterais, etc)
Gestores
Pessoas ou grupos que poderiam ser afetados (público em geral,
instituições, futuros participantes, etc)
Legisladores
Financiadores
Pessoas com conhecimentos especializados do conteúdo, metodologia)
Dados documentais existentes (banco de dados, arquivos, documentos.
Eventos ou atividades que podem ser observados diretamente.
4.
SELEÇÃO DE MÉTODOS E INSTRUMENTOS
4.1 DADOS COLETADOS DE PESSOAS IDENTIFICADAS COMO
FONTES DE INFORMAÇÃO - Questionários, Entrevistas , Grupo
Foco , Testes ,Simulação / Debates Exemplo de trabalho realizado
( redação, Desenhos )
4.2 DADOS COLETADOS POR MEIO DE OBSERVADOR
INDEPENDENTE - Relatórios narrativo-descritivos, Roteiros de
Observação
4.3 DADOS COLETADOS ATRAVÉS DE APARATOS TECNOLÓGICOS
- Gravação de áudio, Gravações de vídeo, Séries de fotografias;
Outros aparelhos automáticos
4.4 DADOS COLETADOS A PARTIR DE INFORMAÇÕES
EXISTENTES - Revisão de documentos públicos ( relatórios governamentais, publicações, etc ) - Revisão de documentos institucionais
( projeto original, relatórios anuais, fichas, atas, publicações.
MÉTODO
PROPÓSITO
VANTAGENS
Questionários
( Survey)
Adquirir de modo mais rápido
e fácil grande quantidade de
informações ( pode ser
aplicado individualmente,
grupo, correio, e-mail,etc)
Pode medir atitudes, opiniões,
circunstâncias de vida, etc
É anônimo;
Pode incluir questões
abertas, fechadas, mistas;
Custo razoável / baixo;
Administra grande
quantidade de pessoas;
Adquire grande
quantidade de dados.
Pode não levar a uma
avaliação cuidadosa;
Formulários podem
influenciar respostas;
É impessoal.
Dá margem a influência do
“ desejo de nivelamento
social”.
Informação de maior
abrangência;
Desenvolve relação com o
sujeito respondente.
Pode ocupar muito tempo;
pode ser de difícil análise e
comparação;
Pode ter custo alto; o
entrevistador pode influenciar
as respostas e levar muito
tempo
Grupo
Foco
Explora uma questão a fundo,
reações, percepções,
experiências, sugestões,
reclamações com o propósito
de obter informações
qualitativas.Conduz à
discussão.
É um método rápido;
Eficiente para grande
gama de informações em
menos tempo;
Pode se ter como
informação fundamental
no programa,projeto.
Pode ser de difícil análise ;
Precisa de um moderador/
facilitador e observador;
Pode ser de difícil
programação
Depende de seleção criteriosa
Informações podem ser
generalizadas.
Observação
Colher a informação mais
precisa em relação ao
programa ou projeto operando
em relação aos processos.
Capta comportamentos mais
natural.
Percepção de como as
situações estão ocorrendo
realmente;
Pode se adaptar a
diferentes eventos;
Baixa interferência.
Pode ser muito complexo
polarização pelo observador
Pode colocar as observações
por categorias; Pode
influenciar o comportamento
dos participantes; Pode ter
alto custo.
Entrevistas
Entender de forma completa
impressões, experiências.
Flexível e qualitativo com
possibilidade de variações no
processo.
DESAFIOS
MÉTODO
Estudo de
Caso
Revisão de
Documentos
PROPÓSITO
VANTAGENS
DESAFIOS
Entender de forma mais
completa ou descrever
as experiências dos
sujeitos respondentes;
administrar a
comparação através
dos casos.
Descreve de forma mais
completa a experiência do
sujeito em relação ao
programa/ projeto, seus
processos e resultados;
Pode fazer a replicagem do
programa/ projeto de
melhor forma.
Pode consumir muito
tempo para levantar,
organizar e descrever
informações;
Pode ter maior profundidade na informação
levantada, em função ao
seu tamanho.
Possibilita ter uma
impressão de como
está o programa/projeto
sem interrompê-lo,
revisando a aplicação
dos recursos e rotinas
em geral.
Adquire informações
exclusivas e históricas;
Não interrompe as ações;
informação já existente;
Tem pouca influência sobre
a informação;
Informação estável.
Ocupa muito tempo; a
informação pode estar
incompleta;
Requer clareza sobre o que
se está buscando;
Não é flexível, se restringe
aos dados existentes.
5.
COLETANDO INFORMAÇÕES
No momento da coleta de informações, o papel do avaliador
é o de criar as condições e os meios para que as informações
necessárias sejam levantadas. Os métodos facilitam a busca e
formulação da informação de qualidade. Estão divididos em:
QUANTITATIVOS E QUALITATIVOS.
QUANTITATIVOS
 Aqueles que podem ser expressos em números, dando uma visão objetiva;
 Este método é mais usado em pesquisas demográficas e se constituem em bases
importantes para acompanhamento de crescimento populacional, natalidade, etc
 Em projetos sociais pode considerar números referentes a produtos: cursos,
palestras, consultas, etc,
 Possibilita quantificar também o nº de participantes das diferentes atividades ( perfil,
condição socioeconômica, idade, sexo, etc )
QUALITATIVOS
 São importantes para auxiliar na formulação de hipóteses, complementar e
aprofundar a análise de informações quantitativas e buscar significância dos
eventos. ( mudanças de comportamento, auto estima, aquisição de habilidades, etc )
5.
COLETANDO INFORMAÇÕES
OBSERVAÇÕES IMPORTANTES:
Após escolha dos métodos, revisar o conjunto para refletir sobre a coerência,
viabilidade, relevância e utilidade.
Perguntas:

Os procedimentos para a coleta de dados não ferem princípios éticos?

Os custos envolvidos com cada método de coleta de dados são justificados pela quantidade e qualidade das informações que serão produzidas ?
 Os dados poderão ser coletados sem atrapalhar muito o dia a dia do
programa/projeto ?
 É possível aplicar os métodos planejados dentro do tempo disponível para
a avaliação ?
 As informações a serem coletadas são válidas e confiáveis ?
 O planejamento para a coleta de dados leva em consideração possíveis
informações necessárias que já estejam disponíveis ?
6. AMOSTRAGEM
Para viabilizar a coleta de dados e responder às perguntas avaliativas é
preciso selecionar parte de uma população para um estudo, uma AMOSTRA
A Amostragem não é necessária em todas as avaliações. Se a população ou
grupo for pequeno, é aconselhável coletar informações de todos. Em sendo
necessária, o avaliador deve determinar o tamanho adequado dela. Tanto a
variabilidade do fenômeno a ser examinado quanto o grau desejado de
precisão afetam o tamanho da amostra ( Krejcie Morgam, 1980)
TIPOS DE AMOSTRAGEM
Acidental ou
por Conveniência
Intencional ou
por Julgamento
Seleção com base na facilidade de acesso e
pouca preocupação com a composição da
amostra como um todo. Neste tipo há muita
probabilidade de equívocos.
( ex: pesquisa de opinião em shopping)
É obtida com base em determinadas
finalidades ou julgamentos. Podem ser úteis
para fins descritivos, mas é preciso cuidado
para não usá-las para estender os
resultados para além do grupo do qual os
dados foram coletados. .
TIPOS DE AMOSTRAGEM
Probabilística
Aleatória
Simples
Permite generalizar os resultados para a
população da qual a amostra foi retirada
É necessário definir a população de interesse
para a avaliação e especificar a unidade de
amostragem. Possui duas variantes:
Aleatória Estratificada – é usada quando o
avaliador está interessado em examinar as
diferenças entre subgrupos da população,
alguns dos quais tão pequenos podem não ser
representados em números suficientes numa
amostragem aleatória simples.
Aleatória por Aglomerados – é usada mais
frequentemente em estudos nacionais com o
objetivo de economizar custos. Envolve a
retirada de uma série de amostras aleatórias
de aglomerados geográficos
( Ex: blocos ou zonas eleitorais em lugar de
unidades individuais)
TERMOS ESPECÍFICOS EM AMOSTRAGEM
Unidade de
Amostragem
Plano de
Amostragem
Seleção de
Amostragem
Base de
Amostragem
É um elemento ou conjunto de elementos da
população alvo que podem ser individuais.
Ex: sala de aula, escritório, departamentos, etc )
É o plano segundo o qual uma amostragem
deve ser escolhida
É a definição real e listagem das unidades
específicas da amostragem a ser observada.
É a lista, o mapa ou catálogo ou outra fonte
na qual as unidades da amostragem são
definidas e com base na qual um conjunto de
unidades é selecionado. É útil principalmente
se o método de coleta exigir entrevistas ou
observações face a face.
6.
1.
ESTABELECENDO A AMOSTRA
AMOSTRA
Listar os nomes das pessoas que potencialmente farão parte da
amostra;
Usar uma escolha aleatória ( não viciada );
Utilizar “ amostra por juízo” se for o caso – a equipe seleciona os
casos que poderão representar o universo de pessoas;
Garantir a diversidade;
É desejável que a amostra seja a maior possível.
2. COMPARAÇÃO CONTEXTUALIZADA
Comparação crítica entre as implicações e os interesses sociais
envolvidos.
Em geral é mais utilizada em estudos qualitativos e pode também incluir
métodos quantitativos – TRANGULAÇÃO.
6.
ESTABELECENDO A AMOSTRA
EX : TABELA 1
Nº TOTAL DO GRUPO
Nº SUGERIDO PARA
A AMOSTRA
PERCEMTAGEM
100
15
15 %
200
20
10 %
500
50
10 %
1.000
50
5%
6.
ESTABELECENDO A AMOSTRA
EX : TABELA 2
TAMANHO DA
POPULAÇÃO
AMOSTRA
TAMANHO DA
POPULAÇÃO
AMOSTRA
TAMANHO DA AMOSTRA
POPULAÇÃO
10
10
60
52
200
132
25
24
80
66
300
169
35
32
100
80
400
196
50
44
150
108
500
217
7. MÉTODOS DE ANÁLISE
ESTRATÉGIAS DE ANÁLISE
DESENHO EXPERIMENTAL : Dados Quantitativos e Análise Estatística ;
Seleção aleatória dos participantes / sorteio;
Comparações entre os 2 grupos para identificar e explicar possíveis diferen-ças
por meio de análises estatísticas;
DESENHO DE ESTUDO QUALITATIVO : Dados Qualitativos e Análise de
Conteúdo;
Seleção segundo critérios da Coordenação do Projeto – coleta de dados entrevistas no início ,durante e ao final ;
Identificar através da análise de conteúdo as experiências e características
que os participantes e o staff trazem;
Indicação de padrões de mudanças nos participantes a partir do staff e
avaliadores.
MISTURA : Desenho Experimental, Dados Qualitativos e Análise de Conteúdo
Seleção por sorteio ( formação de grupo experimental – participante e de
controle – não participantes );
Extensas entrevistas com todos os participantes do início ao final;
Análise de conteúdo dos dados dos dois grupos que são então
comparados.
ESTRATÉGIAS DE ANÁLISE
MISTURA 2 : DESENHO EXPERIMENTAL, DADOS QUALITATIVOS
E ANÁLISE ESTATÍSTICA
Seleção aleatória ( grupo experimental-participante e de controle – não
participantes) ;
Entrevistas extensas no antes do início e ao final do projeto com cada
beneficiário;
Instituição de grupo de juizes que deverão refletir sobre as entrevistas e numa
escala de 1 a 10, dar uma nota as diferentes dimensões que o projeto
pretende influenciar ( ex: probabilidade de ter atitudes saudáveis– nota
1=baixa e 10= alta);
Análise estatísticas para comparar os resultados dos 2 grupos.
MISTURA 3 : DESENHO QUALITATIVO E ANÁLISE ESTATÍSTICA
A diferença do anterior está na escolha de um terceiro grupo para atuar como
juízes com atribuição de notas para cada atividade realizada;
As notas são baseadas em dados qualitativos visando dar idéia da ambiência
em que o projeto se desenvolveu.
ESTRATÉGIAS DE ANÁLISE
MISTURA 4 : DESENHO QUALITATIVO, DADOS QUANTITATIVOS
E ANÁLISE ESTATÍSTICA.
Seleção de acordo com critérios da Coordenação. A equipe de Avaliação
sem categorias de análise preestabelecida sobre aspectos
importantes a serem acompanhados no projeto;
Realiza uma série de observações de eventos e atividades, a equipe de
avaliação tenta identificar comportamentos e interações entre os
participantes que deverão ser acompanhados;
As atividades do projeto são então julgadas a partir dos relacionamento
estatístico entre freqüência de ocorrência dos comportamentos e das
características específicas das atividades e os números - de pessoas
participando, a duração, a quantidade de staff, etc .
ANALISANDO E INTERPRETANDO INFORMAÇÕES
Ao final do processo de coleta, há uma grande quantidade de informações
brutas que precisam ser lapidadas para elaborar as sínteses
para uso dos avaliadores.
COMO ANALISAR DADOS QUANTITATIVOS ?
É preciso decidir entre os métodos descritivos ou inferências
( comparativos, analíticos ) para responder as perguntas;
Explorar ao máximo os dados disponíveis utilizando
estatística descritiva, que envolve basicamente números e percentuais
apresentados em tabelas e gráficos.
ANALISANDO E INTERPRETANDO INFORMAÇÕES
COMO ANALISAR DADOS QUALITATIVOS ?
Pode variar da análise quantitativa da ocorrência de temas ou categorias
preestabelecidas ou criadas a partir dos dados coletados até descrições
narrativas profundas sobre o objeto avaliado.
 Agrupar as respostas em categorias e calcular a freqüência de respostas;











Possibilidade de uso de análise no campo – no decorrer da coleta , refletir
identificando aspectos para serem aprofundados e explorados na avaliação.
Identificar os temas e conclusões preliminares ( para cada hora de coleta, 1 hora
para análise);
Certificar-se de que os dados disponíveis respondem as perguntas avaliativas;
Fazer cópias eletrônicas organizando os dados por tópicos ou categorias;
Buscar as causas, conseqüências e inter-relações;
Exame das interpretações contraditórias das exceções;
Triangulação – comparação entre os dados qualitativos com os quantitativos, das
diferentes fontes e das diferentes perspectivas dos observadores;
Identificar possíveis distorções causadas por valores, comportamento e
perspectivas dos avaliadores;
Qualidade dos dados disponíveis;
Reações dos diferentes interessados em relação aos dados coletados e à análise
desenvolvida;
Rigor intelectual.
ANALISANDO E INTERPRETANDO INFORMAÇÕES
COMO INTERPRETAR OS RESULTADOS ?

Determinar se os objetivos do projeto foram alcançados;

Determinar se as necessidades identificadas inicialmente pelo projeto
foram reduzidas;

Solicitar a grupos ou profissionais de referência na área façam uma
revisão crítica;

Comparar resultados encontrados com os outros projetos ou
iniciativas do mesmo tipo desenvolvidas por outras organizações;

Interpretar os resultados atentando para as possíveis limitações dos
procedimentos e métodos que foram utilizados para produzi-los.
METODOLOGIA DA ANÁLISE DE CONTEÚDO
Tem como suporte instrumental qualquer tipo de mensagem,
formas de expressão dos sujeitos sociais, e como produto,
um conhecimento não linear.
Sua derivação se dá pela observação social do objeto de estudo,
onde o tempo e a circularidade da comunicação são considerados
significativos;
Constitui-se numa forma de olhar para as comunicações que
dependendo da postura teórica, política e cultural do avaliador ,
poderá conduzir à produção de um novo conhecimento, onde
a história e a cultura se fazem presentes;
Se apresenta como uma proposta metodológica dinâmica
que se faz permanentemente por meio de uma interação contínua
com o analista;
A ANÁLISE DE CONTEÚDO é entendida como
TÉCNICA DE COMPREENSÃO, INTERPRETAÇÃO E EXPLICAÇÃO
das formas de COMUNICAÇÃO
( escrita, oral ou icônica – gestual ) .
OBJETIVO 
Ultrapassar o nível do senso comum e do subjetivismo na
interpretação de documentos, textos literários, biografias, entrevistas ou observação.
Do ponto de vista operacional, a ANÁLISE DE CONTEÚDO relaciona estruturas
semânticas ( SIGNIFICANTES ) com estruturas sociológicas ( SIGNIFICADOS )
dos enunciados.
TÉCNICAS :

ANÁLISE DAS RELAÇÕES
 designa técnicas que preocupam-se
com as relações que os vários elementos mantêm entre si, dentro de um texto.
Principais modalidades
a de CO-OCORRÊNCIAS  procura extrair de um texto as relações entre as partes
de uma mensagem e assinala a presença simultânea ( co-ocorrências ) de dois ou
mais elementos na mesma unidade de contexto. Sua maior utilidade tem sido no
esclarecimento das estruturas da personalidade, na análise das preocupações
latentes tanto individuais como coletivas, para análise de estereótipos e de
representações sociais
a ESTRUTURAL  tem por pressuposto a crença na existência de estruturas
universais ocultas sob a aparente diversidade dos fenômenos. Os estruturalistas
buscam o imutável e permanente sob a heterogeneidade aparente.
Por trás dessa busca está a noção de sistema.

ANÁLISE DA EXPRESSÃO
 existe uma correspondência entre o
tipo de discurso e as características do locutor e seu meio. Trabalha com
indicadores lexicais ( palavras, significados ) , com estilo e encadeamento
lógico, com o arranjo das seqüências, com a estrutura da narrativa.
Sua aplicação mais comum tem sido na investigação da autenticidade
dos documentos, para a psicologia clínica, análise de discursos políticos
e /ou persuasivos.

ANÁLISE DE AVALIAÇÃO OU REPRESENTACIONAL  tem
por finalidade medir as atitudes do locutor enquanto aos objetos de que fala
( pessoas , coisas, acontecimentos ). Seu pressuposto é de que a
linguagem representa e reflete quem a utiliza .

ANÁLISE TEMÁTICA  consiste em descobrir os núcleos de
sentido que compõem uma comunicação cuja presença ou freqüência
signifiquem alguma coisa para o objetivo analítico visado.
Quantitativamente se encaminha para a contagem de freqüência
das unidades de significação e, Qualitativamente a presença
de determinados temas denota os valores de referência e os modelos
de comportamento presentes no discurso.

ANÁLISE DA ENUNCIAÇÃO
 apoia-se numa concepção de comuni-
cação como processo e não como um dado estático, e do discurso como
palavra e ato. Considera que na produção da palavra elabora-se ao mesmo
tempo um sentido e operam-se transformações.
Trabalha com:
a ) as condições de produção da palavra ( triangulação entre o locutor, seu
objeto de discurso e o interlocutor );
b ) o continente do discurso e suas modalidades , que se dá através :
•
•
•
•
análise sintática e paralinguística ( tons de voz e sons que permitem saber o
estado em que o falante se encontra );
análise lógica , estudo do arranjo do discurso;
análise dos elementos formais atípicos : silêncio, omissões, ilogismos ;
realce das figuras de retórica.
A Entrevista Aberta é o material privilegiado da análise da enunciação, no sentido de que
se trata de um discurso dinâmica. Em termos operacionais segue o seguinte roteiro :
Estabelecimento do Corpus : delimitação do número de Entrevistas, leva em conta a
questão central do objeto da pesquisa para delinear o corpus ;
Preparação do Material : cada texto ( entrevista ) é uma unidade básica ( a transcrição
deve conservar os silêncios, lapsos, repetições, sons, etc );
As Etapas de Análise : cada Entrevista é submetida a tratamento como uma totalidade
organizada e singular. São observados o alinhamento e a dinâmica do discurso para
se encontrar a lógica; o estilo e os elementos atípicos .

ANÁLISE DO DISCURSO  articula 3 regiões do conhecimento :
a )
o Materialismo Histórico como teoria das formações sociais e suas
transformações estando incluída aí a Ideologia ;
b )
a Lingüística enquanto teoria dos mecanismos sintáticos;
c)
a Teoria do Discurso como teoria da determinação histórica dos processos
semânticos .
O Objetivo básico é realizar uma reflexão geral sobre as condições
de produção e apreensão da significação de textos produzidos nos
diferentes campos: religioso, filosófico, sócio-político, jurídico.
Visa compreender o modo de funcionamento, os princípios de
organização e as formas de produção social do sentido.
Pressupostos básico:
O sentido de uma palavra, de uma expressão ou de uma proposição
não existe em si mesmo, mas expressa posições ideológicas
em jogo no processo sócio-histórico no qual as palavras,
as expressões e proposições são produzidas;
8. DIVULGANDO E USANDO OS
RESULTADOS DA AVALIAÇÃO





Relatórios escritos elaborados a partir dos públicos;
Combinar os Relatórios escritos com Apresentações e discussões
orais;
Ensaios de fotografias, relatos gravados em áudio, produção de vídeos,
slides, transparências, histórias em quadrinhos, apresentação de
testemunhos e apresentações de peças teatrais;
Relatórios Escrito;
Resumo Executivo da avaliação de 2 a 6 páginas, devendo conter os
principais resultados encontrados, as interpretações importância dos
resultados e recomendações;
Introdução
Descrição do foco da avaliação;
Alguns comentários metodológicos;
Apresentação dos Resultados;
Conclusões e Recomendações;
Anexos.
MATRIZ AVALIATIVA
Tipo de
Avaliação
Pergunta
Avaliativa
Indicadores
Aprovação Escolar
Fontes de
Informação
Documentos
escolares
( boletins,
relatórios, etc );
1ª Qual é o
percentual de Evasão escolar
Avalia o
promoção de
RESULTADO
séries das Gosto pela leitura e
do Projeto
crianças
escrita;
“Educação envolvidas no
Crianças e
pelo
projeto?
Domínio da
adolescentes;
Esporte”
linguagem oral;
Capacidade de
adotar regras de
conduta, ouvir o
outro, lidar com
diferenças e
participar de
atividades em
grupo;
2ª Em que
medida as
crianças e
adolescentes
apresentam
mudanças
comportamen Afetividade junto
-tais
à família;
relacionadas
à convivência
Auto estima;
na escola e no
contexto
Sociabilidade.
sóciofamiliar?
Métodos de
Coleta de Dados
Revisão e
análise dos
Documentos
Entrevistas
Observações
Famílias;
Grupo Focal
Questionários
Educadores;
Grupo Focal
Parceiros;
Entrevista
Financiadores;
Entrevista
Procedimentos para
Coleta de Dados
Amostra
Universo 100
usuários e
suas famílias
Estratégia
Cronograma
Sensibilização
Mobilização
para a
Revisão dos
Avaliação;
Documentos :
Amostra = 80
dezembro e
Universo 15
Contato com os
janeiro
Amostra=9
Diretores de
Universo 2
Escola e
Organização
Amostra 2
solicitação dos
dos
Universo2
documentos; instrumentos
Amostra = 2
e procediElaboração dos
mentos de
roteiros
coleta de
instrumentos;
dados :
fevereiro
Treinamento dos
responsáveis
pela avaliação;
Total da
Organização do
Amostra da
Coleta de
processo de
Avaliação
dados :
coleta e
Universo
março
organização
Total = 119
Dos dados.
Amostra
( tabulação,
Total = 93
transcrições, etc)
Elaboração
do Termo de
Consentimento;i
Métodos para
Análise de Dados
Estratégias para
Interpretação
Procedimentos para
Divulgação dos Resultados
Públicos
Pelo menos 75% tiveram
Análise Documental : melhoria no desempenho e
estatística descritiva e
nas notas, passando às
Comparativa entre as
séries subsequentes?
crianças e adolescentes
Todas as crianças
usuárias do projeto e de
permaneceram na escola ?
fora dele;
Pelo menos 75%
apresentaram melhoria/
Análise de Conteúdo evolução nos interesses de
leitura e escrita, capacidade
dos relatórios dos
de raciocínio lógico,
instrumentos de coleta
criatividade e trabalho
de dados;
grupal?
Houve melhorias nas
relações e comportamento
adotando regras de conduta
e aceitando diferenças?
Síntese dos principais
temas identificados.
Houve melhoria nas relações
afetivo-familiares ?
Conteúdo
Formato
Cronograma
Relatório
Técnico
Equipe de
Coordenação e todos
os envolvidos no
Ajudar a responder
Relatório
Reuniões
Projeto
as Perguntas
Executivo para os
para
Avaliativas
Diretores e
discussão
Professores
dos
Identificar quais
resultados
Conselho Diretor
aspectos precisam
da Análise :
da Agência
ser aperfeiçoados
abril
Financiadora
visando a qualidade Reunião com os
do projeto e
familiares
possibilidade de
Comunicação à
Parceiros
ampliação,
imprensa para
replicação e
divulgação para o
desdobramentos público em geral
Diretores e
Professores das
Escolas
Elaboração de
Artigos, etc
Familiares
Houve elevação da auto
estima e Sociabilidade?
Público
em geral
Apresentação em
Fóruns,
Seminários, etc
Entrega dos
Relatórios:
Maio