A Articulação entre Avaliação e Planejamento: a experiência da CPA na PUCRS
Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
Eixo I - Criação de estratégias e metodologias para o trabalho das CPA
Alam de Oliveira Casartelli (Pontifícia Universidade Católica do Rio Grande do Sul)
Marion Creutzberg (Pontifícia Universidade Católica do Rio Grande do Sul)
Alessandra Maria Scarton (Pontifícia Universidade Católica do Rio Grande do Sul)
Clarissa Lopes Bellarmino (Pontifícia Universidade Católica do Rio Grande do Sul)
Nádia Sá Borges (Pontifícia Universidade Católica do Rio Grande do Sul)
Roberto Hubler (Pontifícia Universidade Católica do Rio Grande do Sul)
Dario Anschau (Pontifícia Universidade Católica do Rio Grande do Sul)
Ana Lucia Souza de Freitas (Pontifícia Universidade Católica do Rio Grande do Sul)
Juliana Bernardes Marcolino (Pontifícia Universidade Católica do Rio Grande do Sul)
Afonso Strehl (Pontifícia Universidade Católica do Rio Grande do Sul)
Elaine Bauer Veeck (Pontifícia Universidade Católica do Rio Grande do Sul)
Marta Voelker (Pontifícia Universidade Católica do Rio Grande do Sul)
Márcio Vinícius Fagundes Donadio (Pontifícia Universidade Católica do Rio Grande do Sul)
Maria Inês Corte Vitória (Pontifícia Universidade Católica do Rio Grande do Sul)
Carmem Sanson (Pontifícia Universidade Católica do Rio Grande do Sul)
Elaine Turk Faria (Pontifícia Universidade Católica do Rio Grande do Sul)
Alexandre de Mello Zart (Pontifícia Universidade Católica do Rio Grande do Sul)
Hélio Radke Bittencourt (Pontifícia Universidade Católica do Rio Grande do Sul)
Ana Paula Bragaglia Acauan (Pontifícia Universidade Católica do Rio Grande do Sul)
Edison Faller Pereira (Pontifícia Universidade Católica do Rio Grande do Sul)
Resumo
Introdução: O processo de autoavaliação na Pontifícia Universidade Católica do Rio
grande do Sul (PUCRS) inicia na década de 1970. No entanto, com o advento do SINAES
(Sistema Nacional de Avaliação da Educação Superior) em 2004, os processos de
avaliação interna foram redefinidos, conforme as novas exigências legais. A Comissão
Própria de Avaliação (CPA) foi instituída e assumiu a condução das avaliações na
Universidade. Ao longo do período consolidaram-se os métodos e fluxos dos processos
avaliativos, bem como a articulação da Avaliação com o Planejamento Institucional da
PUCRS, reforçando a mesma como uma importante ferramenta de gestão. Objetivo: no
intuito de relatar a experiência de avaliação da PUCRS, alinhada ao SINAES, e a
articulação desta com os processos de Planejamento Estratégico da Universidade é que foi
desenvolvido este artigo. Metodologia: trata-se de um relato de experiência baseado em
documentos institucionais como o Plano de Autoavaliação Institucional, o Plano de
Desenvolvimento Institucional, o Plano Estratégico, os relatórios de autoavaliação e as atas
e registros de reuniões da CPA. Resultados: Os resultados indicam o amadurecimento por
parte da PUCRS no desenvolvimento de seus processos avaliativos. A utilização dos
1
resultados de avaliação como uma ferramenta efetiva para o processo de gestão e
planejamento da Universidade constitui-se de aprendizado contínuo. Contudo, novos
desafios estão presentes, como articulação crescente entre os resultados de avaliações e
outros diagnósticos estratégicos da Instituição, criando uma cultura permanente de reflexão
e análise estratégica por parte dos diferentes níveis de gestão. Percebe-se que em algumas
instâncias esta prática é mais comum e sistêmica. Por outro lado, como em qualquer
instituição de grande porte, avançar neste processo faz com que a CPA e Assessoria de
Planejamento trabalhem de forma a identificar avanços possíveis, bem como fomentar o
compartilhamento de experiências entre os diferentes gestores da Universidade.
Palavras-chave: Avaliação Institucional; Planejamento Estratégico; Educação Superior;
Comissão Própria de Avaliação.
Introdução
A avaliação da Educação Superior adquiriu importante relevância acadêmica e
social nas últimas duas décadas, especialmente porque as políticas públicas de educação
passaram a dar grande visibilidade aos processos avaliativos (SILVA; GOMES, 2011). O
tema avaliação passou a fazer parte da agenda da educação brasileira, tendo como uma das
consequências o aumento no número de estudos sobre o tema e sua prática foi legitimada
permitindo que as IES pudessem aprofundar os diagnósticos articulando a avaliação com a
gestão.
A autoavaliação na PUCRS tem uma história com significativas experiências em
diferentes momentos e instâncias. Um dos marcos dessa história situa-se no final da década
de 70, quando, pela primeira vez, foi avaliado o desempenho docente no que se refere aos
procedimentos didático-pedagógicos. Ao final da década de 80 é que os processos ficaram
mais amplos e sua implantação foi sistematizada. Este período foi marcado pelo projeto
Avaliação da Qualidade do Ensino: Compromisso da Comunidade Acadêmica, que tinha
por objetivo “desencadear um processo de avaliação da qualidade de ensino das diferentes
Unidades Acadêmicas da PUCRS”. No início da década de 90, foi implantada a Avaliação
do Desempenho Docente, decorrente de alternativas sugeridas a partir do processo anterior,
com vistas ao aprofundamento da análise da qualidade de ensino na PUCRS. Tal avaliação
foi compreendida como “um ato necessário à tomada de decisões” e tinha como objetivos:
“avaliar o desempenho docente; promover o aperfeiçoamento dos professores, fornecendolhes elementos para uma constante reflexão sobre sua prática pedagógica; desencadear
ações que possibilitem a superação dos problemas identificados na avaliação docente”
(CREUTZBERG et al., 2009).
Como decorrência da análise dos resultados dessa avaliação, foi desenvolvido o
projeto Qualidade de Ensino e Prática Docente: uma convergência necessária, com ênfase
na capacitação docente, o que, em diferentes e renovados formatos, permanece dentre as
prioridades da Universidade.
Com o decorrer dos semestres, a avaliação da prática pedagógica foi assimilada
pelas Unidades Acadêmicas, comprovada pelo crescimento gradativo do número de
Faculdades favoráveis à elaboração de seus próprios instrumentos (BITTENCOURT et al.,
2011). Assim, até o final da década de 90, cada Unidade Acadêmica (UA) tinha o seu
próprio instrumento de avaliação, mas vinculado ao Projeto Institucional, com
acompanhamento e supervisão do Setor Didático-Pedagógico (SEDIPE), da Pró-Reitoria
de Graduação (PROGRAD), setores estes denominados desta forma na época em questão
(CREUTZBERG et al., 2008). Dentre os efeitos desse processo destacaram-se diversos
avanços: “revisão de currículos de cursos, estudos continuados sobre temáticas
2
pedagógicas, inovações metodológicas, avaliação por egressos” (MORAES; GALLIAZZI,
2007).
Em 2004, dando continuidade à história de avaliação somada à proposição da Lei
do Sistema Nacional de Avaliação da Educação Superior (SINAES, 2007), a PUCRS
iniciou um novo período no que diz respeito à avaliação. A Comissão Própria de Avaliação
(CPA) foi instituída e assumiu, desde aquele momento, a condução das avaliações na
Universidade.
A experiência de avaliação da PUCRS no contexto do SINAES
A proposta do SINAES foi a de assegurar que houvesse uma integração das
dimensões internas e externas, particulares e globais, somativas e formativas, em âmbito
quantitativo e qualitativo dos diversos objetos e objetivos da avaliação. Além de destacar
que as diversas dimensões e objetivos da avaliação deveriam ser assumidos de forma
coletiva, com funções de informação para tomadas de decisão em diversos âmbitos:
político, pedagógico e administrativo. Contudo, o sistema subsidia as melhoras
institucionais, a capacidade formativa e educativa (SINAES, 2007).
Na PUCRS, a Comissão Própria de Avaliação da PUCRS foi criada e implantada
em janeiro de 2005. A CPA tem regulamento próprio que prevê a participação dos
diferentes segmentos da comunidade acadêmica (docentes, discentes, funcionários técnicos
administrativos e membros da sociedade civil organizada). Assim, desde sua implantação
há representantes indicados pela Associação dos Docentes e Pesquisadores da PUCRS,
Associação dos Funcionários da PUCRS e pelo Diretório Central de Estudantes. Incluía,
também, pessoas diretamente envolvidas, por meio de seus cargos e funções, nos processos
de avaliação do SINAES e na produção de conhecimento em avaliação, quais sejam:
representantes de Coordenadorias e de Assessorias de Avaliação das Pró-Reitorias, do
Núcleo de Currículos, Normas e Processos Acadêmicos, da Faculdade de Educação, da
Assessoria de Planejamento, garantindo, assim, a articulação entre os resultados das
avaliações e o planejamento da Universidade. Ao longo do período, com o intuito de
ampliar a capilaridade da CPA, outros segmentos e órgãos foram incluídos, dentre eles a
representação dos discentes da Pós-Graduação Stricto Sensu e também o setor de
Tecnologia da Informação e Telecomunicação e a Assessoria de Comunicação.
Em 2012, a partir de uma reestruturação da Universidade, também a CPA passou
por uma reorganização, sendo constituída hoje por 12 (doze) membros, sendo: um membro
da Assessoria de Planejamento; um membro da Pró-Reitoria Acadêmica; um membro da
Pró-Reitoria de Pesquisa, Inovação e Desenvolvimento; um membro da Pró-Reitoria de
Extensão e Assuntos Comunitários; um membro do corpo docente; um membro do corpo
de técnicos administrativos; um membro da Faculdade de Educação; um membro do corpo
discente da Graduação; um membro do corpo discente da Pós-Graduação Stricto sensu; o
Pesquisador Institucional (PI); e dois membros da Sociedade Civil.
A CPA possui as seguintes atribuições:
- apreciar e referendar o plano e os relatórios de autoavaliação institucional
elaborado pela CTA;
- apreciar criticamente processos avaliativos;
- participar de eventos de sensibilização, divulgação, reflexão e validação de
processos e relatórios de avaliação; e
- participar das reuniões solicitadas por Comissões de Avaliação Externa à PUCRS
sendo consultiva e deliberativa.
A CPA, para o desenvolvimento e operacionalização dos processos autoavaliativos
e para o acompanhamento dos processos avaliativos externos, conta com a Comissão
Técnica de Avaliação (CTA), constituída por 11 membros de setores e órgãos de apoio e
3
execução, que incluem representações das Pró-Reitorias (Acadêmica; de Pesquisa,
Inovação e Desenvolvimento; de Administração e Finanças; e de Extensão e Assuntos
Comunitários), da Assessoria de Planejamento, da Gerência de Tecnologia da Informação
e Telecomunicação, da Assessoria de Comunicação, além de assessor estatístico e
representantes da CPA. Tem como atribuições:
- elaborar o plano de autoavaliação institucional e submetê-lo à CPA para
apreciação e referendo;
- implementar o plano de autoavaliação;
- orientar os setores envolvidos na avaliação para a coleta de informações;
- orientar os diversos setores para a elaboração de relatórios de avaliação;
- coletar e organizar as informações e os relatórios no âmbito de sua competência;
- gerenciar o sistema de informação de avaliação institucional;
- elaborar o relatório anual de autoavaliação institucional até a data definida pelo
INEP;
- participar de eventos de sensibilização, divulgação, reflexão e validação de
processos e relatórios de avaliação;
- analisar relatórios de avaliação externa para subsidiar processos de autoavaliação
institucional;
- subsidiar, com informações, o processo de planejamento e de gestão da
Universidade; e
- integrar a comissão de elaboração do Plano de Desenvolvimento Institucional.
A CPA reúne-se, pelo menos, uma vez ao mês, enquanto a CTA, no mínimo,
quinzenalmente. As reuniões são abertas à comunidade universitária. Em diversos
momentos a CTA reúne-se com grupos específicos para a discussão de temáticas referentes
aos processos de avaliação, bem como dos resultados de avaliações internas e externas e
acompanhamento de ações decorrentes desses processos. Além disso, foi constituída a
Subcomissão de Sistematização dos Processos de Avaliação, que se reúne semanalmente,
composta por dois representantes da CPA, o da Assessoria de Planejamento, o Assessor
Estatístico e dois representantes da CTA.
Para ampliar a comunicação entre os diferentes setores que integram ou apoiam a
CPA, foi criada uma comunidade de trabalho no Moodle (Ambiente Virtual de Ensino e de
Aprendizagem utilizado na PUCRS), à qual todos os atores envolvidos na CPA e CTA têm
acesso.
A Autoavaliação Institucional, a partir de seus resultados e momentos reflexivos na
CPA e CTA, subsidiam proposições e ações de gestão da Universidade que impulsionam o
desenvolvimento da PUCRS. Destacam-se as possibilidades de qualificação na gestão da
aula universitária, na inovação curricular, na capacitação docente, na pesquisa e extensão,
na infraestrutura, na comunicação, entre outros aspectos. A articulação com o
planejamento estratégico foi se consolidando a medida que os resultados de avaliação
foram apropriados pelos gestores no sentido de realizar diagnósticos e, ao mesmo tempo
em que ações estratégicas eram desenvolvidas para melhoria das fragilidades identificadas.
Diante deste contexto, o artigo tem como objetivo geral relatar a experiência da
PUCRS com o SINAES e com uso da avaliação como ferramenta de gestão, articulada aos
processos de planejamento estratégico da Universidade. Para tanto, descreve-se como os
processos de avaliação são realizados, bem como os resultados são utilizados para gestão e
planejamento estratégico da PUCRS.
Metodologia
Este artigo relata a experiência de avaliação da PUCRS no contexto do SINAES.
Para seu desenvolvimento foram utilizados como base os documentos institucionais, tais
4
como o Plano de Autoavaliação Institucional (PAI) descrito no Plano de Desenvolvimento
Institucional (PDI), o Plano Estratégico (PE), o Projeto Pedagógico Institucional (PPI),
bem como os relatórios de autoavaliação e as atas e registros da CPA.
Referencial Teórico
Avaliar é uma forma de atividade humana (LIMA, 2006) e integra a vida cotidiana
de qualquer pessoa. Nesse sentido toda tomada de decisão baseia-se num processo
avaliativo, ou seja, a avaliação é intrínseca à reorientação do sujeito em suas ações
cotidianas. Todavia, no processo histórico de escolarização e institucionalização da
educação, a avaliação foi complexificando seus significados. Decorre desse contexto a
necessidade de se estabelecerem algumas distinções entre avaliação implícita, espontânea e
instituída (HADJI, 2001). A primeira é assim considerada por levar em conta o grau de
explicitação e de instrumentação do julgamento, sendo este revelado apenas por meio de
seus efeitos. É o caso, por exemplo, de alguns alunos que se auto-eliminam do processo ao
não se apresentarem para a sua realização. Aí está uma avaliação não pronunciada, mas
implícita. A avaliação espontânea, por sua vez, é uma avaliação formulada, mas sem
utilizar-se de uma instrumentação específica. Servem de exemplo os julgamentos que os
estudantes formulam espontaneamente sobre os professores, ou que os professores
formulam sobre os alunos, como nas situações em que afirmam “já deu para ver que...”.
Por fim, a avaliação instituída é aquela que se vale de uma instrumentalização específica
em sua operacionalização.
Importa ainda considerar que avaliação instituída não é sinônimo de avaliação
burocratizada. A intenção da avaliação instituída, no contexto da missão e da visão de
futuro da PUCRS, é a de realização de uma avaliação formativa, ou seja, de uma avaliação
situada no centro das ações de formação: nem antes, nem depois da ação, mas como parte
integrante dela. É uma avaliação informativa sobre o processo educativo, subsidiando a
tomada de decisão necessária à continuidade e à ampliação das aprendizagens. Assim, sem
desconsiderar o valor das avaliações que se realizam implícita e espontaneamente, nosso
objeto de reflexão e ação diz respeito à avaliação instituída, em suas diferentes dimensões.
A Avaliação Institucional na PUCRS atende à necessidade legal de um processo
contínuo de autoavaliação. O foco da avaliação está na contínua qualificação da formação
acadêmica e profissional e da Missão da Universidade. A avaliação implica “compromisso
com o questionamento, com a crítica, com a expressão do pensamento divergente” e é
“concebida como uma atividade complexa, um processo sistemático de identificação de
mérito e valor que envolve diferentes momentos e diversos agentes.” (BRASIL, 2006).
No SINAES fica evidenciada a importância do movimento constante entre
avaliação externa e autoavaliação, cuja complementariedade tornou-se um consenso nos
diferentes âmbitos da avaliação educacional (SAUL, 2002; DEPRESBITERIS, 2005). Essa
é a compreensão da PUCRS, que se dispõe a um processo de permanente autoavaliação de
desempenho, em busca de seu aperfeiçoamento institucional e do cumprimento mais
perfeito de seus objetivos. Portanto, a avaliação se constitui em mais do que o
cumprimento de uma prescrição legal.
O PDI da PUCRS (2011-2015) descreve o processo de Autoavaliação da
Universidade centrada na reflexão sobre a ação dos sujeitos, com vistas à qualificação dos
cursos e das ações institucionais. Para tanto, entende que o processo autoavaliativo,
pressupõe “crítica e afastamento, estimulando um diálogo interno construtivo”, com vistas
à autorregulação, que implica em transformações constantes (DEPRESBITERIS, 2005).
A avaliação fundamenta-se na concepção de avaliação formativa como uma “utopia
promissora”, ou seja, na convicção de que é possível que a avaliação se torne um elemento
promotor da aprendizagem, com a clara intenção de avaliar fazer evoluir melhor, rumo ao
5
êxito (HADJI, 2001). É por meio da excelência da realização de seu projeto educativo que
a Universidade torna-se “um local de sucesso, atraente, desafiador e convidativo para o
aluno” (PERES-DOS-SANTOS; LAROS, 2007).
Autores têm discutido e questionado modelos de Autoavaliação Institucional que
geram apenas dados quantitativos (SAUL, 2002; GATTI, 2006). A autoavaliação
institucional na PUCRS gera informações quantitativas e qualitativas, mas pela amplitude
da avaliação e pela complexidade da Universidade a coleta de dados, na maior parte dos
processos, não inclui métodos participativos. Assim essa participação é buscada nos
processos de análise de resultados e na reflexão do seu uso para o planejamento e para a
gestão.
Resultados e Discussões
A organização da avaliação
O SINAES, previsto com dez dimensões, desencadeou a implantação de diversos
processos avaliativos dentro da Universidade. Na PUCRS, a CPA é responsável por
coordenar todos os processos de avaliação interna e externa, estabelecendo avaliações
diversas, com públicos e periodicidades específicas, que atendem às 10 Dimensões do
SINAES, conforme segue abaixo.
Na Dimensão 1, “Missão e o Plano de Desenvolvimento Institucional”: a PUCRS
analisa os resultados da Avaliação Externa, neste caso o IGC; estuda cenários específicos;
e realiza o diagnóstico estratégico.
Na Dimensão 2, “Política para o ensino, a pesquisa, a pós-graduação, a extensão”:
No Ensino de graduação, avalia disciplinas da graduação, com instrumentos específicos
para a orientação de TCC, para as disciplinas de Estágios e para as disciplinas
semipresenciais, sendo respondida por professores e alunos. Também possui instrumento
de satisfação dos formandos, na qual é avaliado o Projeto Pedagógico do Curso. Analisa
os resultados do ENADE (prova e questionário socioeconômico), no âmbito geral da
Universidade, bem como por cursos. Há avaliações de projetos específicos, como o Projeto
InterAÇÃO, que insere o aluno nas práticas inseridas em comunidades e escolas. Na Pósgraduação (Stricto e Lato Sensu), avalia os cursos de Lato Sensu (Presencial e EAD);
analisa os resultados CAPES; e os Programas de Pós-graduação Stricto Sensu. Na
Pesquisa, avalia os Bolsistas de Iniciação Científica da PUCRS; os Grupos, Núcleos e
Laboratórios / Estruturas de Pesquisa. Na Extensão, avalia os Cursos de Extensão (setor e
ações), o Parque Esportivo e o Centro de Eventos.
Na Dimensão 3, “A responsabilidade social da Instituição”: há a avaliações do
Centro de Eventos; do Museu de Ciências e Tecnologia; dos programas e ações de
Desenvolvimento Social e das Atividades Culturais.
Na Dimensão 4, “Comunicação com a sociedade”: são realizadas a avaliação da
comunicação como um todo e de mídias próprias utilizadas pela Universidade; a análise
dos relatórios da ouvidoria, também constitui forma de avaliação.
Na Dimensão 5, “Políticas de pessoal, de carreiras do corpo docente e corpo técnico
administrativo”: avaliação da atenção ao corpo docente e técnico-administrativo e a
pesquisa de clima organizacional.
Na Dimensão 6, “Organização e gestão da Instituição”: a avaliação ocorre em nas
diversas instâncias, por meio de atividades de reflexão sobre a gestão e liderança
institucional. A pesquisa de clima organizacional também contempla a avaliação desta
dimensão.
Na Dimensão 7, “Infraestrutura física”: além da avaliação realizada internamente,
considerando a infraestrutura, os recursos e os serviços, também a análise do Questionário
6
do Estudante preenchido pelos alunos no ENADE, constitui importante subsídio para a
autoavaliação.
Na Dimensão 8, “Planejamento e avaliação”: ocorre a análise de resultados de
processos de autoavaliação; dos resultados do ENADE (prova e questionário
socioeconômico); dos resultados do IGC; do CPC; dos resultados CAPES; além da
realização da Meta-avaliação da avaliação de disciplinas da graduação e da avaliação dos
programas de pós-graduação Stricto Sensu.
Na Dimensão 9, “Políticas de atendimento aos estudantes”: ocorrem inúmeras
avaliações, dentre elas a da atenção ao corpo discente; do perfil dos vestibulandos e dos
ingressantes; a avaliação e acompanhamento dos alunos beneficiados com Bolsa ProUni;
avaliação dos projetos pedagógicos de curso com os formandos; da Mobilidade
Acadêmica; do estágio não obrigatório; avaliação com alunos egressos.
Dimensão 10, “Sustentabilidade financeira”: a avaliação ocorre a partir do
acompanhamento dos indicadores financeiros do plano estratégico.
Em todas as dimensões, há indicadores definidos no planejamento estratégico, que
são acompanhados sistematicamente em diversas instâncias. A periodicidade dos diferentes
processos mencionados depende do tipo de avaliação realizada havendo avaliações que,
por sua natureza, precisam ser semestrais, a exemplo da Avaliação de Disciplinas da
Graduação, que subsidia o planejamento de disciplinas a cada semestre; outros, tais como a
avaliação da infraestrutura e serviços, é realizada com intervalos maiores, pois as ações
advindas dos resultados, em geral, demandam prazos de médio a longo período.
Os públicos também são diversos, dependendo da avaliação. Alunos, professores,
técnicos administrativos, gestores, diretores, coordenadores, usuários, visitantes e público
em geral participam das diferentes avaliações, respondendo o seu nível de satisfação e
manifestando, também de forma qualitativa, suas opiniões em relação a diferentes
aspectos.
Independentemente do processo, as avaliações internas seguem etapas que, ao
longo do período, foram sendo consolidadas e estão sempre presentes. Atualmente, as as
avaliações ocorrem em 5 momentos: organização, coleta de dados, análise dos dados,
sistematização da análise e disponibilização dos relatórios, conforme Figura 1.
Figura 1 – Etapas dos processos de autoavaliação institucional
7
A etapa da “organização” inclui a elaboração e validação do instrumento. A
elaboração de instrumentos constitui uma importante etapa e exige que se dedique períodos
de ampla reflexão e debate para que estes reflitam as concepções e as finalidades a que se
pretende atender. As experiências desenvolvidas na Universidade têm demonstrado que a
elaboração do instrumento envolve uma série de ações imprescindíveis: análise de
demandas de novas avaliações e/ou adequações/ajustes em instrumentos já implantados;
reflexão acerca dos conceitos e fundamentos da avaliação a ser implantada, com a
elaboração de documento orientador e plano de trabalho, conduzida por um grupo de
trabalho, mas garantindo ampla participação e representatividade no processo;
levantamento das experiências prévias de avaliação no setor ou na dimensão a ser avaliada;
elaboração de primeira versão do instrumento a partir das concepções, sugestões dos
envolvidos e instrumentos anteriores, se houver, e alinhamento às propostas institucionais;
validação (pré-teste) com o público respondente; elaboração da versão final; validação no
setor responsável, CTA e Colegiado da Reitoria; inclusão no Sistema de Avaliação
Institucional ou estabelecimento de outra forma de aplicação do instrumento no setor
responsável.
Ainda quanto ao processo de elaboração do instrumento, um aspecto relevante é a
definição da escala utilizada nas avaliações. Esta definição é resultado de muito diálogo e
de diferentes ponderações, sendo a Avaliação de Disciplinas da Graduação o processo de
Autoavaliação Institucional que consolidou a metodologia de elaboração de instrumentos,
tornando-se referência para os demais processos avaliativos.
Assim, definiu-se o uso de uma escala intervalar com cinco pontos e a alternativa
SCO (sem condições de opinar). Essa escala permite a obtenção de resultados avaliados,
no mínimo, sob dois aspectos: 1. número ou percentagem de clientes satisfeitos; 2.
intensidade de satisfação/insatisfação. A definição dos intervalos é: 5- Muito Satisfeito; 4 –
Satisfeito; 3 – Parcialmente Satisfeito; 2 – Insatisfeito; 1 – Muito Insatisfeito; SCO (Sem
Condições de Opinar). O uso desta escala estendeu-se aos demais instrumentos de
avaliação institucional e a sua fundamentação está descrita num Documento Orientador
(CREUTZBERG, FREITAS, CASARTELLI, 2008).
A validação de instrumentos também integra esta fase de organização, pois se
considera que a qualidade dos instrumentos é fundamental para a efetivação dos processos
avaliativos. No campo da Educação, o julgamento do desempenho escolar e a atribuição de
graus normalmente dão-se por meio de instrumentos cuja qualidade, muitas vezes, não foi
avaliada. Nesse sentido, procurou-se fundamentação no campo da Psicometria para avaliar
quantitativamente os instrumentos de avaliação. As técnicas para avaliar a qualidade do
instrumento perpassam pela validação de conteúdo, de critério, de constructo e de
estabilidade temporal, além de coeficientes de fidedignidade. Exemplificando, no Quadro
1, extraído de Bittencourt et al. (2011), apresenta-se um esquema de validação do
instrumento de avaliação de disciplinas.
Quadro 1 – Esquema de validação do instrumento de avaliação de disciplinas
Característica
Tipo
Procedimento / Técnica
Conteúdo
Reuniões com especialistas
Validade
Construto
Análise Fatorial Confirmatória
Critério
Regressão Linear Múltipla
Consistência interna
Alpha de Cronbach e Variância extraída
Fidedignidade
Estabilidade temporal Coeficiente de Variação
Fonte: Bittencourt et al. (2011).
8
A segunda etapa, o período da “coleta de dados”, é estabelecida de acordo com os
grupos envolvidos na avaliação. Antes da disponibilização do instrumento, é realizado um
período de sensibilização, com reuniões realizadas pela CTA ou com participação dela
para a apresentação dos aspectos envolvidos na avaliação. A divulgação à comunidade
acadêmica é realizada por meio de e-mail (professores, técnicos administrativos e alunos
de pós-graduação), por meio do Sistema de Mensagens Acadêmicas (alunos de graduação),
pelo site institucional, pelo Boletim PUCRS Notícias e de forma diversificada pelas
Faculdades.
No intuito de agilizar e tornar mais eficiente a coleta de dados para os diversos
processos avaliativos realizados na PUCRS, foi desenvolvido um sistema informatizado,
denominado Sistema de Avaliações Institucionais (SAI), ao qual se vinculam a maioria dos
diferentes instrumentos. O acesso ao SAI ocorre por meio da página de Avaliação
Institucional (http://www.pucrs.br/autoavaliacao). O Sistema integra as funcionalidades
que seguem: coleta de dados, por meio da disponibilização dos instrumentos aos diversos
públicos envolvidos; disponibilização de relatórios de resultados, com diferentes conteúdos
e formatos, de acordo com o perfil estabelecido (direções, coordenações, professores e
coordenadoria de Avaliação); e disponibilização (upload e download) de documentos de
análise de dados para os diferentes públicos e setores.
Algumas avaliações não ocorrem por meio de coleta de dados individual, nem por
meio de instrumentos on-line, mas sim, por eventos e programas que promovem o debate e
a reflexão sobre a Universidade.
A terceira etapa, a de “análise dos dados” é realizada em vários momentos e em
instâncias diferentes. Na maior parte dos processos os dados / resultados são gerados
automaticamente no SAI e disponibilizados diretamente aos usuários para a análise, como
mencionado anteriormente. Em outros processos, mais amplos e com periodicidade com
intervalos maiores, primeiramente, a CPA/CTA organiza os resultados quantitativos e
qualitativos realizando uma análise preliminar, da qual resultam documentos para análise
das Unidades Universitárias.
Os dados quantitativos da avaliação passam por análise estatística sendo
processados mediante o uso de técnicas descritivas: tabelas de frequência e médias. As
análises são realizadas separadamente por Unidade Acadêmica e por tipo de público,
sendo as tabelas organizadas conforme os blocos que compõem o questionário. Já a análise
qualitativa dos dados, com base nos comentários inseridos pelos participantes, é realizada
por Análise Textual Discursiva, proposta por Moraes e Galliazzi (2007), com auxílio de
software desenvolvido internamente para uso da CPA/CTA. A análise temática dos
comentários é realizada pela CPA/CTA, por meio de dicionários léxicos próprios, levando
em conta categorias pré-definidas e categorias de análise emergentes.
Os dados são disponibilizados no SAI, na forma de relatórios às Pró-Reitorias e
Unidades Universitárias, para que possa ser realizada a análise coletiva nas Unidades
Universitárias, Assessorias e Pró-Reitorias sob a orientação da CPA/CTA.
Cada setor recebe os relatórios com os temas específicos de sua responsabilidade na
Universidade. No que se refere aos resultados qualitativos, os setores recebem os
comentários oriundos de seus alunos, docentes e técnicos administrativos. Os relatórios
contêm, para cada comentário, as informações sobre: público (identifica se o respondente é
aluno de graduação, aluno de pós-graduação, docente ou técnico administrativo); dimensão
(descreve de qual dimensão o comentário é oriundo); local (identifica a Faculdade,
Programa de Pós-Graduação ou segmento de técnicos administrativos ao qual o
respondente pertence); tema (demonstra o tema no qual o comentário é incluído pelo
participante); e o comentário (apresenta o comentário na forma como é inserido pelo
9
participante, não havendo dados de identificação dos participantes, o que garante o sigilo e
a privacidade).
Cada Pró-Reitoria, Assessoria ou Unidade Universitária elege sua própria dinâmica
de reflexão sobre os resultados. A análise dos resultados qualitativos nas Pró-Reitorias, nas
Assessorias e nas Unidades Universitárias seguem a orientação da CPA/CTA para
identificação de potencialidades, fragilidades ou sugestões, na perspectiva dos
respondentes. Deste momento também resultam proposições de ações. Os resultados dessa
análise retornam para a CTA.
A quarta etapa é a “sistematização dos resultados”, feita por meio da elaboração de
diferentes relatórios, que têm por finalidade subsidiar a articulação entre a avaliação, o
planejamento e a gestão.
A quinta e última etapa dos processos é a “disponibilização dos relatórios” que se
inicia com a divulgação aos participantes dos diferentes segmentos e setores para que os
mesmos sirvam de apoio ao Plano Estratégico e Processo de Gestão da Unidade
Universitária.
Destaca-se, por fim, no que se refere à organização dos processos avaliativos, os
pressupostos éticos das avaliações desenvolvidas na Universidade, que inclui a garantia do
anonimato dos participantes e a omissão de nomes e dados que possam permitir identificar
pessoas nos relatórios disponibilizados para a análise nas Pró-Reitorias e Unidades
Universitárias.
A articulação entre a avaliação e o planejamento
A divulgação, a reflexão sobre os resultados para a gestão e o planejamento são
aspectos indispensáveis para que a avaliação se consolide como ferramenta de gestão. A
não utilização dos resultados tornaria inócuo o processo avaliativo, que envolve dedicação
e investimentos significativos da Universidade. Ainda assim, observa-se que esse é um
processo de contínuo aprendizado e que exige o fomento e a orientação para que possa
ocorrer.
Atualmente, as estruturas - CTA/CPA, somando-se à Assessoria de Planejamento e as ferramentas - Sistema de Avaliações Institucionais (SAI) e o Strategic Adviser (SA) de que a Universidade dispõe para a operacionalização e acompanhamento dos processos
avaliativos permitem avanços importantes na articulação entre avaliação e planejamento. É
no cotidiano dos processos, nas Pró-Reitorias, nas Assessorias e nas Unidades
Universitárias que a dinâmica entre avaliação e planejamento ocorre contribuindo para o
uso efetivo dos resultados.
A disponibilização dos resultados para a comunidade interna, como mencionado,
ocorre por meio do SAI e os resultados gerais também são disponibilizados no Site
Institucional, na página de Avaliação Institucional (http://www.pucrs.br/autoavaliacao) e
divulgados por meio dos demais veículos de comunicação da Universidade, como o
Boletim Semanal PUCRS Notícias e a Revista PUCRS Informação. Além disso, há uma
funcionalidade chamada “Mural Virtual”, que permite às direções das unidades acadêmicas
inserirem informações a respeito das ações provenientes dos resultados das avaliações.
Assim, o Mural abre um espaço de divulgação direta entre os participantes das avaliações e
os setores avaliados.
Entretanto, para que efetivamente ocorra a discussão acerca de resultados e o seu
uso para a qualificação contínua do ensino, da pesquisa, da extensão e da gestão é
necessário que haja não somente a disponibilização dos resultados, mas também o estímulo
constante à discussão e à análise desses resultados. Assim, a CPA e a Assessoria de
Planejamento promovem, em diferentes instâncias e grupos, debates sobre os dados
10
resultantes dos diferentes instrumentos para que estes, efetivamente, possam subsidiar o
planejamento.
Cabe destacar que os relatórios são suporte para análise, reflexão e elaboração dos
planos de ação das Unidades Universitárias, que seguem uma diretriz ditada pelas
prioridades institucionais e projetos estratégicos da PUCRS, que, por sua vez, são
acompanhados por sistema específico de gestão orientado por indicadores quantitativos e
qualitativos.
A Figura 2 demonstra como ocorre o uso dos resultados para a gestão e
planejamento. Os resultados, como mencionado na explicitação do método, são analisados
pelos setores específicos nas Pró-Reitorias e Assessorias. Estas têm a condição de
visualizar a totalidade dos resultados, a relevância dos mesmos e a possibilidade de elencar
priorizações no diálogo com as unidades universitárias. Por outro lado, as unidades
universitárias realizam a análise dos seus dados específicos e, a partir da análise crítica,
identificam demandas para a gestão e para o planejamento. As demandas para o
planejamento devem ser consideradas como preliminares, pois só poderão ser consideradas
de forma efetiva e incluídas no planejamento a partir da discussão com Pró-Reitorias e
Assessorias.
Figura 2 – Fluxograma da utilização de resultados da avaliação
A contribuição da avaliação no desenvolvimento institucional
O impacto da avaliação no cotidiano da instituição é perceptível em diferentes
ações, sejam elas de âmbito restrito de um setor ou de impacto amplo na comunidade
acadêmica. Percebe-se que os resultados resultam tanto em procedimentos imediatos no
cotidiano da gestão como em ações de médio e longo prazo, que necessitam análises mais
amplas, decisões institucionais e definição de investimentos.
Nos relatórios anuais de Autoavaliação Institucional procura-se descrever, em
síntese, as decorrências dessa articulação entre processos avaliativos e planos de ação. Não
seria possível repetir, neste espaço, a diversidade de ações decorrentes da avaliação. No
entanto, poderiam ser destacadas, em grandes traços, algumas exemplos de ações que
determinaram importantes mudanças na IES, conforme segue.
- A definição de temas e estratégias de capacitação docente a partir da avaliação de
disciplinas da graduação. Essa interlocução, paralelamente às inovações curriculares,
11
proporcionou, ao longo dos anos, o aumento do nível de satisfação dos alunos com a ação
pedagógica. Esses fatores são considerados, também, influenciadores do melhor
desempenho dos alunos no Enade.
- A implantação da Central de Atendimento aos Alunos foi decorrente da
Autoavaliação Institucional. A integração dos serviços de atendimento aos alunos num só
espaço foi fundamental para a qualificação da atenção a este público (2008).
- A implantação do Laboratório de Aprendizagem, o Lapren. Nesse espaço o aluno
tem a oportunidade de ampliar seus conhecimentos com o auxílio de materiais didáticos –
objetos de aprendizagem – disponíveis em meio digital. Os estudantes podem realizar
atividades com acompanhamento de bolsistas de iniciação científica, supervisionados por
professores. Além de oferecer apoio na superação de dificuldades de aprendizagem, o
LAPREN propicia a realização de pesquisas relacionadas à produção de materiais didáticos
e à capacitação dos bolsistas como futuros professores (2009).
- A construção e organização do Centro de Convivência para professores, um
espaço para lazer, descanso e convivência dos docentes da Universidade (2010).
- A ampliação da rede wireless na Universidade (2010).
- As melhorias contínuas da infraestrutura de ensino, pesquisa e extensão. Um
exemplo importante foi a inauguração da ampliação e modernização da Biblioteca Central,
que gerou um salto percentual significativo na satisfação da comunidade interna entre as
avaliações de 2005 e 2009.
- As melhorias da infraestrutura e serviços: ampliação do estacionamento com a
construção de um edifício garagem (2010), bem como mudanças na gestão dos
estacionamentos. Em 2011 foi implantado um aplicativo que permite a informação, em
tempo real, sobre as vagas disponíveis nos estacionamentos, com percentual de lotação de
cada espaço.
- A realização, a partir de 2012, do Concurso Palco PUCRS, atendendo ao anseio
por espaços para iniciativas musicais de alunos.
- A melhoria da mobilidade urbana: execução de diversas obras viárias que
melhoraram o acesso ao Campus, como o alargamento da Avenida Ipiranga, que constitui a
principal entrada à Universidade; a criação de áreas de refúgio para embarque e
desembarque de automóveis particulares, ponto de táxi e parada de ônibus (2011).
- A criação de perfis da Universidade em redes sociais e o seu acompanhamento
para a ampliação e qualificação da comunicação com a comunidade interna e externa.
Como dito anteriormente, um dos aspectos fundamentais do uso crescente de
resultados de avaliação no planejamento e na gestão foi a inclusão, no período 2011-2015,
de indicadores do Plano Estratégico e do Plano de Desenvolvimento Institucional que
provém dos processos avaliativos. Esse fato leva, necessariamente, à reflexão contínua
sobre os resultados e a necessidade de revisão permanente de procedimentos e ações
estratégicas.
Considerações Finais
Cabe destacar que a efetividade de processos avaliativos ocorre, principalmente,
pelo desenvolvimento de estruturas e funções bem definidas por parte dos atores
envolvidos. Por isso mesmo é essencial que a IES perceba na CPA um órgão de
fundamental importância na condução destes processos e com legitimidade para tal.
Este relato de experiência indica que na PUCRS, a CPA é reconhecida pela
comunidade universitária como órgão responsável e com legitimidade para condução dos
processos avaliativos. Sua constituição atende ao disposto na legislação, incluindo
representatividade dos diferentes segmentos da Universidade e da sociedade civil
organizada, tendo um papel consultivo. Já a CTA possui um papel executivo, articulando
12
as diferentes instâncias da Universidade, favorecendo a implantação e acompanhamento
dos diferentes processos avaliativos, sendo responsável pela operacionalização dos
mesmos. A CPA avalia, valida e orienta a CTA no desenvolvimento destes processos
avaliativos.
O desempenho da CPA/CTA e os avanços na articulação somente são possíveis em
função do investimento da PUCRS, garantindo as condições de desenvolvimento, com
infraestrutura, recursos humanos e tecnológicos adequados às suas atribuições.
Da mesma forma, a definição de processos avaliativos de forma qualificada,
considerando planejamento de fluxos, coleta, análise e disseminação dos resultados de
forma técnica e responsável garante confiança à equipe diretiva da universidade com
relação ao papel da autoavaliação institucional. Nesse sentido, os gestores começam a
perceber a importância dos resultados de avaliação para uma maior eficiência na gestão de
suas unidades, apoiando-se nos processos avaliativos como fontes de informações e
subsídios para a gestão e planejamento.
Nesse sentido os resultados de avaliação são essenciais para o desenvolvimento dos
planos de ações das unidades acadêmicas e universitárias e a articulação com o
Planejamento Estratégico da instituição é determinante para melhoria das fragilidades
identificadas. Dessa forma, avaliação e planejamento devem trabalhar de forma conjunta,
sendo evidenciado isto na PUCRS pela gestão integrada por parte da CPA e da Assessoria
de Planejamento no desenvolvimento de diagnósticos e estudos estratégicos. A utilização
de ferramentas de tecnologia da informação como o Sistema de Avaliação Institucional e o
Strategic Adviser permite que esta integração seja mais efetiva. Contudo, a filosofia de
gestão da PUCRS e a integração dos diferentes responsáveis pelos processos avaliativos e
de planejamento da Universidade são determinantes para que o trabalho flua de forma
articulada e efetiva como meio de aperfeiçoamento da missão institucional, da qualificação
contínua do ensino, da pesquisa e da extensão.
Considerando a trajetória e a experiência relatada neste artigo entende-se que a
PUCRS, por meio da consolidação da Autoavaliação Institucional e sua articulação com o
Planejamento Estratégico, contribui para o fortalecimento do SINAES como um processo
fundamental para melhoria da qualidade da Educação Superior.
Referências
BITTENCOURT, Hélio R.; CREUTZBERG, Marion; RODRIGUES, Alziro Cezar M.;
CASARTELLI, Alam O.; FREITAS, Ana Lúcia S. Desenvolvimento e validação de um
instrumento para avaliação de disciplinas na educação superior. Estudos em Avaliação
Educacional (Impresso), v. 22, p. 91-114, 2011.
BITTENCOURT, Hélio R; DILIGENTI, Marcos P. Procedimento para validação de
instrumentos de avaliação de disciplinas por meio de análises fatoriais exploratória e
confirmatória In: E-book de casos do Quanti & Quali 2009. Ed.Canoas : Sphinx, 2009, p.
216-230. Disponível em: www.quantiquali.com.br
BRASIL. Ministério da Educação. Instrumento de avaliação dos cursos de graduação.
Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2006.
p.10.
13
CREUTZBERG, Marion; FREITAS, Ana Lúcia S.; CASARTELLI, Alam O. Documento
Orientador: Avaliação de Disciplinas da Graduação: ferramenta de gestão para
qualificar os cursos. PUCRS: Prograd, 2008 (1ª versão).
DEPRESBITERIS, Lea. Auto-avaliação das Instituições de Ensino Superior. Estudos em
Avaliação Educacional, v. 16, n. 32, p. 7-24, jul.-dez. 2005.
FREITAS, Ana Lúcia S. et al. (Orgs). Projeto Pedagógico Institucional. Porto Alegre:
EDIPUCRS, 2012.
GATTI, Bernardete A. Avaliação institucional: processo descritivo, analítico ou reflexivo?
Estudos em Avaliação Educacional, v. 17, n. 34, p. 7-14, mai.-ago. 2006.
HADJI, Charles. Avaliação desmistificada. Porto Alegre: ARTMED, 2001.
LIMA, Elvira. Avaliação na Escola. São Paulo: Editora Sobradinho, 2006.
MORAES, R.; GALLIAZZI, M. C. Análise Textual Discursiva. Ijuí: Unijuí, 2007.
PERES-DOS-SANTOS, Luiz Francisco Bastos; LAROS, Jacob Arie. Avaliação da prática
pedagógica do professor de ensino superior. Estudos em Avaliação Educacional, v. 18, n.
36, p. 75-96, jan.-abr. 2007.
PUCRS. Plano de Desenvolvimento Institucional 2011-2015 – PDI. Porto Alegre:
EDIPUCRS, 2012. 76 p.
PUCRS – Plano Estratégico 2011-2015 – PE. Porto Alegre: EDIPUCRS, 2012.
SAUL, Ana Maria. A sistemática de auto-avaliação do Programa de Pós-Graduação em
Educação (currículo) da PUC/SP. Estudos em Avaliação Educacional, n. 26, p. 97-109,
jul.-dez. 2002.
SILVA, A. L.; GOMES, A. M.. Avaliação institucional no contexto do Sinaes: a CPA em
questão. Avaliação. Campinas, Sorocaba, v. 16, n. 3, nov. 2011.
SINAES – Sistema Nacional de Avaliação da Educação Superior: da concepção à
regulamentação. 4. ed. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais
Anísio Teixeira, 2007.
14