ABORDAGEM CENTRADA EM
ESPECIALISTAS
Capítulo 8
Objetivos
• Apresentar as vantagens da avaliação por especialistas.
• Apontar situações nas quais o parecer de especialistas
é um método legítimo de avaliação.
• Apresentar critérios para escolha de especialistas.
• Descrever as principais diferenças entre sistemas
informais e formais de pareceres de especialistas.
• Descrever os principais pontos fortes e limitações da
abordagem de avaliação por especialistas.
Características
• Depende de conhecimentos especializados de profissionais que
julgam instituições (ex: Sinais, avaliação das condições para criação
e credenciamento de cursos novos cursos), programas (programas
de pós-graduação), produtos (Capes – Qualis Periódicos e Livros)
ou atividades (CNPq projetos, teses).
• A estratégia básica de avaliação está baseada em juízos subjetivos
do avaliador.
• Equipes de especialistas ou avaliações independentes são bastante
utilizadas.
•
Outra estratégia de avaliação são as visitas para avaliação in loco.
Tipos de avaliação
1. Sistemas formais de pareceres de profissionais
reconhecidos.
2. Sistemas informais de pareceres de profissionais
reconhecidos.
3. Pareceres ad hoc de grupos altamente qualificados.
4. Pareceres ad hoc de profissionais altamente
qualificados
Tipos de avaliação
TIPO DE
ESTRUTURA
AVALIAÇÃO
PADRÕES
PERIODICIDADE
PÚBLICOS
OPINIÕES DE
SITUAÇÃO
VÁRIOS
ESPECIALISTAS
AFETADA PELOS
RESULTADOS
Sistema
formal de
pareceres
Sim
Sim
Sim
Geralmente
Geralmente
Sistema
informal de
pareceres
Sim
Raramente
Às vezes
Sim
Geralmente
Parecer ad
hoc grupal
Não
Sim
Não
Sim
Não
Sim
Sim
Sim
Às vezes
Sim
Parecer ad
hoc
individual
Não
Sim
Não
Sim
Não
Não
Às vezes
(dois)
Às vezes
Sistema Formal
1.
É estruturado e organizado para propiciar pareceres periódicos
(Ex: acompanhamento anual e avaliação trienal de Programas de
pós-graduação da CAPES).
2.
São aplicados padrões públicos e instrumentos de avaliação para
formulação dos pareceres (padrões derivados do desempenho dos
programas e instrumentos validados pelas áreas e estabelecidos
formalmente pelo CFE).
3.
Periodicidade predeterminada (de três em três anos).
4.
Incluem visitas, quando recomendado pela área.
5.
Incluem auto-avaliações.
Sistemas informais
• Possuem diretrizes e procedimentos
estruturados.
• Empregam vários profissionais.
• Utilizados nos EUA para avaliação de desempenho
de professores e acompanhamento de estudantes
e emissão de pareceres informais sobre artigos.
Pareceres ad hoc de grupos e
indivíduos especializados
• Pareceres emitidos por profissionais altamente especializados.
• Avaliações com periodicidade irregular e de acordo com as circunstâncias
e demanda.
• No CNPq, os pareceres ad hoc são formulados de acordo com quesitos de
avaliação aprovados pela comunidade científica e incluídos em
instrumentos específicos de avaliação (de projetos de pesquisa, pedidos
de bolsas e de auxílios).
•
Os avaliadores são bolsistas do CNPq que obrigatoriamente assumem o
compromisso de avaliar trabalhos durante a vigência da bolsa.
• Os pareceres são feitos por avaliadores independentes. Os comitês de
área de conhecimento emitem pareceres “finais”sobre os projetos.
Instâncias superiores do CNPq tomam as decisões finais sobre o
financiamento de bolsas e auxílios.
O Connoisseur
• O connoiseur é um artista da avaliação.
• Ele tem percepção das qualidades da entidade ou objeto avaliado e
das relações entre elas.
• O talento dele é saber para o que olhar na avaliação.
• A analogia do provador de vinho é utilizada para mostrar como a
experiência, o paladar refinado e a memória gustativa desse
profissional possibilitam-lhe distinguir qualidades sutis (corpo, cor,
acidez, buquê, sabor residual, etc)e emitir julgamentos de valor não
baseados em preferências pessoais.
• O avaliador é o instrumento de avaliação. A coleta, a análise e o
julgamento ficam encobertos na cabeça do avaliador. A validade da
sua avaliação depende da experiência e percepções do avaliador.
Uso da Abordagem
• Credenciamento e recredenciamento de cursos
de graduação.
• Avaliação de programas de pós-graduação.
• Avaliação de livros e periódicos científicos e
outros produtos educacionais.
• Avaliação de projetos de pesquisa para fomento.
• Avaliação de teses, dissertações e monografias.
• Avaliação de pedidos de apoio financeiro e bolsas
de pesquisa.
Pontos Fortes
• Enfatizam o importante papel do parecer de especialistas no processo
avaliativo e mostram a necessidade de decidir sobre o grau de explicitação de
padrões de avaliação.
• Estimulam a excelência com desenvolvimento de critérios e diretrizes para
avaliar programas ou produtos. (Ex: Capes no Qualis Periódicos e avaliação de
programas de pós-graduação, Sinais).
• Estimulam a melhoria de programas e instituições por meio de auto-avaliação
e avaliação externa constantes.
• Asseguram a comunidades específicas e ao público em geral que uma
instituição ou programa tem objetivos claros e apropriados e condições de
realizar o que se propõe a fazer.
• Aconselham e oferecem assessoria a instituições estabelecidas e em
desenvolvimento.
• Protegem as instituições de abusos que poderiam por em risco sua eficiência
ou liberdade acadêmica. (Ex: definição da titulação necessária ao corpo
docente e do regime de trabalho do corpo docente – evitar o professor
“horista” sem qualificação par ao ensino e a pesquisa).
Pontos fracos
• Preocupação com a credibilidade e com o cinismo
público diante da avaliação das próprias atividades
(pesquisadores avaliando pesquisa, educadores
avaliando educação).
• Podem gerar protecionismo.
• Envolvem altos custos (viagens para visitas e para
reunião de grupos de avaliadores).
• Pareceres podem ser incestuosos e sujeitos a conflitos
de interesses.
• Problema de sigilo e receio de publicar pareceres
individuais.
• Necessidade de preparo especial para avaliar .