Avaliação da extensão: Aspectos
teóricos e metodológicos
Começo de conversa...
A ideia de uma universidade que dialoga com o social
Concepção marcada pelo interação dialógica
pertinente e permanente com os distintos
grupos humanos e sociais, criando canais de
comunicação e participação para o
desenvolvimento do potencial humano.
A universidade, seus saberes
e valores, se fazem socialmente
úteis.
A investigação e a docência
se nutrem da ação social- repensam
o currículo e os projetos de investigação.
O que se sabe sobre o tema?
• A instauração de processos avaliativos da
extensão universitária, nos últimos anos, indica
a forte tendência de uma gestão da extensão
que intenciona conhecer e analisar suas ações
na sociedade.
• Há um espaço descoberto para a avaliação dos
programas e projetos quanto aos seus efeitos
e impactos na comunidade interna e na
sociedade.
Dados de 2004- pesquisa Forproext
 IPES que declararam possuir um sistema de avaliação
implantado
Ações
Programas
Projetos
Cursos
Prestação de serviços
Eventos
Produtos acadêmicos
Total
29
33
32
13
20
15
F% (n=38)
76,32
86,84
84,21
34,21
52,63
39,47
Histórico da CPAE
1999 – XV Encontro Nacional, Campo Grande criação do GT Avaliação
2001 – Publicação: Avaliação Nacional da
Extensão Universitária – FORPROEXMEC/SESu
( UFPR )
2001 – Criação da CPAE
Quatro elementos da avaliação
• (I) a atribuição de sentido aos processos
avaliativos,
• (II) o uso de métodos e técnicas de
investigação da realidade,
• (III) a ética dos processos e
• (IV) a necessidade de estímulo ao
desenvolvimento de capacidade avaliativa nos
projetos.
O que nos falta?
Sistematizar
• A sistematização de um
processo de avaliação útil
para o aperfeiçoamento dos
projetos existentes,
• Construir diferentes formas
de divulgação do que a
extensão realiza e produz.
Divulgar
O que nos falta?
Um olhar multidisciplinar
 Como
quebrar a lógica da
disciplinarização no ensino e nos
processos de produção do
conhecimento ?
 Quanto mais multidisciplinares
forem os grupos, maiores serão as
condições de análise, intervenção
e compreensão dos problemas
sociais.
 A crença na transformação
confere a universidade um sentido
para os conhecimentos que
constrói e recria, propiciando uma
ciência com consciência.
Extensão e avaliação
Se a extensão não tem um processo avaliativo sistematizado, como podemos
valorá-la?
•Como podemos propor a repetição de uma ação?
•Como incorporamos as ações de extensão na imagem da universidade?
•Como comprovamos que os recursos foram ou serão bem investidos?
•Como convencer alunos, técnicos e docentes a participar das ações? E a
comunidade externa?
Extensão e avaliação
A necessidade da avaliação da extensão origina-se
da sua própria dimensão extra-muros ou extra sala
de aula –os outros dois processos de aprendizado e
formação de conhecimento –ensino e pesquisa –
são naturalmente avaliados de forma constante,
tanto interna, quanto externamente.
Por um começo...
• Os propósitos devem estar claramente
identificados:
• O que se deseja conhecer?Que decisões se
pretende tomar?
• Deve-se definir o pessoal responsável pelo
projeto.
• Deve-se identificar os
métodos e técnicas
a serem utilizados.
Primeiro movimento- vontade política
a.
Estabelecer o grau de pertinência, idoneidade,
efetividade/eficácia e eficiência/rendimento de um
programa, projeto ou serviço.
b. Determinar as razões dos êxitos e fracassos.
c. Facilitar o processo de tomada de decisões para
melhorar e/ou modificar o programa ou projeto.
d. Analisar outros objetivos que podem ser alcançados.
e. Resultar em uma cultura organizacional que preze a
melhoria continuada.
Definindo avaliação
 A avaliação é uma forma de pesquisa social
aplicada, sistemática, planejada e dirigida;
destinada a identificar, obter e proporcionar de
maneira válida e confiável dados e informação
suficiente e relevante para apoiar um juízo sobre
o mérito e o valor dos diferentes componentes de
um programa... de forma tal que sirva de base ou
guia para uma tomada de decisões racional e
inteligente entre cursos de ação. (Aguilar e
Ander-Egg, p. 31-32).
Avaliação: em busca de um sentido
• O melhor sentido da avaliação é que seja
utilizada como meio de melhorar os projetos
existentes, aprimorar o conhecimento sobre
sua execução e contribuir para seu
planejamento futuro, tendo como pano de
fundo sua contribuição aos objetivos
institucionais.
Projetos?
• Até que ponto a extensão trabalha com
projetos no sentido da experimentação e
aprendizagem contínua?
• Projeto é um empreendimento com objetivo
identificável, que consome recursos e opera sob
pressão de prazos,custos e qualidade( Kerzner,
2002).Se não podemos considerar nossa ação como
projetos ...fica difícil pensar na
avaliação.
Avaliar , acompanhar, monitorar
O planejado foi realizado?
O monitoramento é uma avaliação contínua e faz
parte integral do gerenciamento
do projeto.
-O monitoramento diz respeito
a observação regular e sistemática do
desenvolvimento das atividades .
-a avaliação analisa criticamente o andamento do
projetos segundo seus objetivos, segundo as
informações obtidas pelo MONITORAMENTO.
Avaliar , acompanhar, monitorar
A avaliação é conduzida periodicamente
tanto pela equipe do projeto quanto pelos
beneficiários e com a ajuda de equipes
externas.
Um sistema de monitoramento requer a
adoção de indicadores.
Indicador - O que demonstra a, sinaliza a
evolução, o avanço rumo aos objetivos, as
metas?
Avaliação: para quê???
Um processo de avaliação, para ter sucesso,
deve contar com a participação efetiva dos
avaliados.
Mas quem gosta de ser avaliado?
A avaliação é considerada
◦Punitiva
◦Investigativa
◦Comparativa
Macro- indicadores
• Eficiência – quais os
resultado com menor
dispêndio de recursos?
• Eficácia- quais os
resultados alcançados com
os meios sob controle?
• Efetividade- quais foram
osresultados exitosos sob
condições reais não
controladas?
• Impacto- quais resultados
foram mantidos ?
Princípios gerais
•
•
•
•
•
Definidos com precisão,
Consistentes,
Específicos,
Fáceis de coletar,
Mostrar resultados materiais.
Conceitos-chave
• Eficiência - refere-se à rentabilidade
econômica que, em alguns casos, deve ser
considerada dentro da avaliação. Diz respeito
ao custo do projeto em relação aos resultados
obtidos.
• Eficácia, analisa-se até que ponto estão sendo
alcançados os resultados previstos e mesmo se
os resultados previstos são pertinentes
Exemplo:
Eficiência
Eficácia
Ex: o projeto foi eficiente pois em 3 meses atendeu 25
pessoas com cinco estudantes a um desembolso de R$
250, o que significa 5 pessoas por estudante, R$ 10
por pessoa, média de 8,33 pessoas/mês; o projeto não
foi eficaz, pois em 60% das pessoas o nível de
alfabetização não foi suficiente para uma leitura de
um texto de 10 linhas em letra cursiva
Eficiência
•
•
•
•
•
•
•
•
Revela o grau de utilização de recursos
◦Quantas horas?
◦Quantas salas?
◦Quantas cópias?
◦Quantas pessoas?
◦Quantas viagens, almoços, diárias?
◦Quanto custou?
◦Quanto rendeu?
Sobre eficácia
 Anos 90-dimensões desejáveis de desempenho
das organizações e programas-eficácia, eficiência
e efetividade.
 Eficácia é o grau de atendimento às metas e
objetivos estabelecidos.
 O programa ou projeto produziu algum efeito
sobre os seus beneficiários? quais?
 Não é tarefa fácil...Como cada um percebe?
 Precisamos de formas para medir o desempenho
perante os objetivos e metas almejados.
Eficácia
I
Indicadores de eficácia
Como assim?
•
• Capacidade de implementar
decisões
• Diversidade de canais, suficiência
e qualidade das mensagens
• % de publico atingido, agilidade
de fluxo
• Suficiência dos recursos, prazos e
fluxos qualidade da infraestrutura, material de apoio
• Regularidade, abrangência e
agilidade na identificação dos
desvios e incorreções, agilidade
para recomendar correções..
1. Sistema gerencial
• 2. Processo de divulgação e
informação
• 3. Processos de seleção de
agentes implementadores e
beneficiários
• 4. Sistema operacionalfinanciamento, gasto, provisão dos
recursos materiais
• 6. Processos de monitoramento e
avaliação interna
Indicadores de impacto/
efetividade
Efetividade
• Impactosvariações
mudanças na realidade
• Efeitos sociais –opinião e
satisfação dos atores
• Efeitos
institucionais
sustentabilidade
e
reprodutibilidade
Como assim?
• Taxas de crescimento de um
fenômeno,
intensidade
da
mudança
• Avaliação do atores
• Níveis
de
aprendizagem
institucional,
inovações,
autonomia,
transferência
de
metodologia, institucionalização
dos processos.
Mais conceitos
• Efetividade se refere ao resultado mais
imediato provocado pela intervenção. Fizemos
o que tinha que ser feito?
• Impacto se refere às consequências ou aos
produtos finais que resultam, direta ou
indiretamente, de uma intervenção
Impacto
• É a análise das mudanças duradouras ou
significativas, previstas ou não, na vida dos
indivíduos, grupos familiares ou comunidades,
ocasionadas por determinada ação ou série de
ações, decorrente de uma política, projeto
social ou programa. ( DRAIBE, 2001)
Impacto
• O impacto se reflete nas mudanças na cultura ... É a
permanência dos novos hábitos e é também a
expansão dos efeitos imediatos em espaços colaterais
que se verifica a médio e longo prazos.
• Lembramos que a avaliação de impacto não é trivial.
Há muita dificuldade de atribuição do impacto a um
determinado Programa ou Projeto pois, no mundo
social/relacional há inúmeras fontes intervenientes
simultaneamente.
Onde nos metemos?
 a melhoria da condição humana, nas áreas de saúde, educação e
assistência social,
 apoio a atividades econômicas das classes de baixa renda
 alimentação e nutrição,
 formação de mão de obra, geração de emprego e renda,
 habitação popular,
 melhoria de condições sanitárias de áreas periféricas aos grandes
centros urbanos,
 renovação de áreas urbanas degradadas,
 promoção da saúde, assistência médica, preventiva ou curativa,
 apoio a clínicas de saúde mental, de tratamento de excepcionais,
 assistência para a preservação das famílias, proteção à criança e ao
adolescente, apoio a menores abandonados ou delinquentes,
tratamento de viciados em drogas
Quando avaliar?
• Ex ante–
Consiste na análise da relevância e viabilidade –
política, técnica , financeira e institucional
para que se possa decidir se o projeto deve ou
não ser implementado.
Qual o cenário atual?
Ex-ante em extensão
 Realiza-se antes de iniciar um programa ou projeto. Tem o
foco na formulação, ou seja, verifica o cumprimento das
condições requeridas para a implementação do projeto;
 Permite ajustar a formulação do programa ou projeto,
produzindo melhorias ainda no desenho;
 Pontos a serem analisados: pertinência (se responde ao
que se propõe); coerência interna (entre recursos,
objetivos, atividades, etc); factibilidade (se estão dadas as
condições no contexto para o desenvolvimento do
projeto);
 É realizada por alguém externo ao programa ou projeto.
Ex-ante
 Existe um problema?Qual é o problema? Quais
são os elementos essenciais do problema?
 Quem está(ão) afetado(s) pelo problema? Ou
seja, qual é a população--objetivo?
 Qual é a magnitude atual do problema e suas
conseqüências?
 Conta-se com toda a informação relevante acerca
do problema para realizar um estudo acabado?
 Dispõe-se de uma visão clara e definida do meio
geográfico, econômico e social do problema?
Ex-ante
 Quais são as principais dificuldades para enfrentar
o problema?Que necessidades serão atendidas e,
em conseqüência, quais sãos os bens e/ou
serviços que constituirão os produtos do projeto?
 Quanto existe de recursos e em que condições?
 Onde estará localizado?
 Quando se vai iniciar o projeto? Em alguns casos
há condicionantes temporais que limitam a
possibilidade de começar a operação do projeto.
 Que alternativas são propostas para levá-lo a
cabo?
Quando avaliar?
• Durante a execução
• Enfocando seus produtos, eficácia e
repercussão.
Até que ponto a proposta inicial está sendo
cumprida?
Quais ações corretivas podem ser tomadas?
Quando avaliar?
• Ex post
Ao final do projeto dimensiona sua eficácia,
eficiência e impacto.
Que lições extraímos?
Síntese
• Avaliação ex-ante- O projeto deve ser implementado?
• Monitoramento- Como está o processo?
• Avaliação ex-post - Quais foram os resultados?
Tipos de avaliação
• Externa(Não incide sobre a extensão)
• Interna( A avaliação interna é realizada por técnicos da
instituição mas independentes da unidade de implementação,
processo de revisão qualitativa, realizado dentro de uma
instituição para seu próprio fim/uso (com ou sem o
envolvimento de pares externos).
• mista
• auto-avaliação- a auto-avaliação é, necessariamente, realizada
por quem está directamente envolvido na gestão e
implementação do programa
Av. Externa e Interna
Av. Externa
• - uma avaliação externa
nunca terá condições de
perceber e compreender
todos os contextos da acão,
será sempre superficial,
situar-se-á sempre nas
margens das atividades Será
sobretudo uma avaliação ao
serviço do controle e da
regulação
Av. Interna
Quem quer uma avaliação
ao serviço da compreensão,
da entre-ajuda, da
formação, da melhoria e do
desenvolvimento
profissional defende uma
avaliação interna.
Processos e conversas difíceis
 Quem deve fazer?
 O coordenador da ação
 Por quê? Para saber o esforço despendido na ação,
para indicar o retorno do investimento, para
qualificar os recursos utilizados, indicar a
necessidade de substituição ou aquisição de novos
equipamentos ou serviços...
 Por quê? Para demonstrar a eficiência da PróReitoria de Extensão no atendimento das
demandas
 Fará de boa vontade? Não espere um sorriso
sincero.
Processos e conversas difíceis
 Quem deve fazer?
 –A Pró-Reitoria de Extensão
 •Por quê? Para saber os recursos envolvidos na ação,
para verificar o retorno do investimento, para
identificar a demanda do público, para qualificar os
recursos utilizados, indicar a necessidade de
substituição ou aquisição de novos equipamentos ou
serviços...
 •Por quê? Para demonstrar a eficiência da Pró-Reitoria
de Extensão no atendimento das demandas
 •Fará de boa vontade? Normalmente, sim,
mas será que saberá fazer????
Como se pode fazer?
• ◦O coordenador de extensão
• Deverá manter os registros da utilização dos
recursos, do recebimento dos inputs
solicitados, das horas dedicadas à ação, das
razões de falha e dos motivos de sucesso
• Uma dica útil: registro da forma de divulgação
da ação, dos motivos que levaram o público a
buscar a ação.
Como se pode fazer?
 ◦A Pró-Reitoria
 Deverá manter os registros da real utilização dos
recursos solicitados, da entrega dos inputs
solicitados, das horas alocadas à ação pelo
coordenador e equipe, das razões de falha e dos
motivos de sucesso da atitude da Pró-Reitoria
 Uma dica útil: registro da forma de divulgação da
ação por parte da Pró-Reitoria, um “clipping”
Como se pode fazer?
• ◦A partir de formulários de ação bem
construídos
• ◦A partir de roteiros de relatórios bem
construídos
• ◦A partir de auditorias
• ◦A partir de entrevistas
• ◦A partir de sistemas de registro de ações
concebidos a partir da avaliação
Fala sério!
• O Coordenador da ação NÃO faz essa
avaliação de forma espontânea... Se for
forçado a fazê-la, por conta de Resoluções, o
resultado poderá ser ruim, com colocações
genéricas do tipo:
• ◦A ação foi executada como planejada;
• ◦Os resultados obtidos são plenamente
satisfatórios
• ◦Todos gostaram muito.
Conversa difícil!
O processo avaliativo é essencialmente político. Se
for adotado, a instituição tem que entender que
isso demandará:
–Esforço
–Tempo
–Dinheiro
–Estrutura
–Metodologia
–Regulamentação
Dá para simplificar?
 Sim! Mas só depois de pensar no processo como
um todo e na forma de sua execução. Não há uma
solução padrão, pois a extensão é uma
característica de cada Universidade.
 •A forma mais fácil e viável de retirar as
informações necessárias é facilitar a vida do
coordenador.
 Uma possibilidade básica:
 – Utilizar-se de Sistemas informatizados de
registro e relato de ações
Passo a passo
 Da ação
 –Da concepção da ação: capacidade de planejamento
do coordenador, diagnostico, habilidade em
determinar os recursos necessários, identificação
correta do público alvo, adequação dos horários e
locais oferecidos...
 –Da realização: capacidade do coordenador em dirigir
a ação, em buscar solução para problemas não
previstos, facilidade de comunicação com a PróReitoria (ou se os canais de comunicação são
adequados), previsão correta de equipamentos,
materiais, do cronograma, da especificação
Passo a Passo
 Do Coordenador
 –Durante a concepção: capacidade de comunicação
com a Pró-Reitoria e outros docentes; conhecimento
do problema e da realidade da Universidade e do
público; observação de prazos e normas; destaque
dado ao nome da Universidade;
 –Durante a realização: organização dos materiais, dos
equipamentos, da sala; cumprimento de prazos e
normas para a realização do relatório final;
conhecimento dos fluxos de processos
Passo a passo
 Da Pró-Reitoria
 –Durante a concepção: como as normas e regras são
entendidas pelos coordenadores; como as facilidades
oferecidas pela Universidade e pela Pró-Reitoria são
acessadas pelos coordenadores; como a equipe atende as
solicitações; como apóia a divulgação das ações planejadas
 –Durante a realização: organização dos materiais, dos
equipamentos, da sala solicitados; cumprimento de prazos
para o fornecimento dos materiais solicitados; facilidade
de atender demandas inesperadas; atendimento no
processo de inscrição; identificação de salas...
O que se faz com isso?
 Superar o “achismo”! Discussão da política de extensão.
 Desenvolvimento de projetos integrados em parceria com
setores da sociedade,
 Decisão quanto a oferta de cursos de preparação de
projetos e avaliação,
 Elaboração de manual de comunicação,
 Lista de contatos emergenciais para atendimento de
demandas,
 Comparação de custos entre ações,
 Análise de horários, equipamentos e locais mais
adequados para cada tipo de ação,
 Lista de possíveis públicos-alvo para próximas ações.
Avançar no debate
 De que forma a experiência de participação em projetos de
extensão é valiosa na formação do estudante,
principalmente quanto à construção de sua cidadania
profissional?
 De que forma a composição de grupos de estudantes de
cursos diferentes propicia uma experiência de diálogo
multidisciplinar frente a situações concretas da realidade
social?
 De que forma a participação de professores nos programas
vem se constituindo num processo de descoberta de
alternativas de trabalho acadêmico no âmbito do seu
campo de conhecimento?
Avançar no debate
 De que forma as relações professor / aluno, em
programas de extensão permitem a construção de
uma pedagogia diferenciada da que é
experimentada no âmbito das disciplinas
convencionais?
 De que forma a flexibilização, a indissociabilidade,
a autonomia na construção do conhecimento, a
formação do espírito de pesquisa, a criatividade, a
criticidade, a articulação entre campos do
conhecimento estão presentes nessas
experiências?
O que NÃO se deve fazer com isso?
 ◦Punir
 ◦Restringir
 ◦Reclamar
 ◦Depreciar
 ◦Se nada de bom será feito com a avaliação, a
política avaliativa deve ser revista
 ◦Se a avaliação é propositiva e construtiva, um
ambiente de cooperação e sinceridade
começa a ser possível...
Avaliar a favor de quem?
• É possível afirmar que a avaliação ao longo
dos últimos anos deixou de ser considerada um
processo exclusivamente técnico...
• O estudo das representações sociais vieram
mostrar que o processo social é permeado de
elementos culturais, sociais e econômicos,
sendo
compreendido
e
vivenciado
diferentemente pelos vários atores que dele
participam
Conflitos, interesses...
• A avaliação, portanto, levaria em conta a análise
crítica de se determinado projeto se coadunaria ou
não aos valores culturais e expectativas dos vários
atores sociais envolvidos, assim como às suas
realidades sócio-econômicas (Atkinson, 1993)
Um quadro sempre ajuda
Instâncias
Categorias
Detalhamento
Coordenação do
Projeto
Relevância Acadêmica
A proposta está em consonância com a
concepção e
diretrizes de extensão
Tem potencial para o desenvolvimento
de
atividades de ensino e/ou pesquisa
Tem potencial para desenvolver
atividades
interdisciplinares
Prevê envolvimento de alunos
Viabilidade
identificação clara de público-alvo
necessidade do parecer do Comitê de
Ética
os recursos humanos e financeiros estão
descritos
os agentes financiadores/parceiros estão
especificados
Relevância Social
Aborda e/ou dissemina conhecimentos
sobre questões
sociais relevantes para a Universidade /
Sociedade
Instrumento
“ A história da extensão nas
universidades é também um
registro das dificuldades para
definir como pode ser desenvolvido
o “compromisso social” dessa
instituição com a sociedade [...]
Desde a sua gênese, a extensão
universitária parece ser uma
compensação pelo ensino alienado
e pela pesquisa descomprometida
com a realidade social. “ (Botomé,
1996)
"Hoje é hoje , amanhã será amanhã, é hoje
que tenho a responsabilidade,não amanhã,
se estiver cega.
Responsabilidade de quê.
Responsabilidade de ter olhos quando os
outros os perderam." José Saramago
Texto extraído do livro "Ensaio sobre a
cegueira".
Sonia Regina Mendes dos Santos
[email protected]