AVALIAÇÃO INSTITUCIONAL DE IES: UM ESTUDO DE CASO SOB A
ÓPTICA DO CORPO DISCENTE
TÂNIA APARECIDA AZEREDO DA CONCEIÇÃO RIBEIRO
UNIVERSIDADE ESTADUAL DO NORTE FLUMINENSE DARCY RIBEIRO UENF
CAMPOS DOS GOYTACAZES-RJ
MARÇO – 2003
AVALIAÇÃO INSTITUCIONAL DE IES: UM ESTUDO DE CASO SOB A
ÓPTICA DO CORPO DISCENTE
TÂNIA APARECIDA AZEREDO DA CONCEIÇÃO RIBEIRO
Dissertação apresentada ao Centro de
Ciências e Tecnologia da Universidade
Estadual do Norte Fluminense, como
parte das exigências para obtenção do
título de Mestre em Ciências
de
Engenharia , na área de concentração
de Engenharia de Produção.
ORIENTADOR: PROF. HELDER GOMES COSTA
CAMPOS DOS GOYTACAZES –RJ
MARÇO – 2003
ii
AVALIAÇÃO INSTITUCIONAL DE IES: UM ESTUDO DE CASO SOB A
ÓPTICA DO CORPO DISCENTE
TÂNIA APARECIDA AZEREDO DA CONCEIÇÃO RIBEIRO
Dissertação apresentada ao Centro
Ciências
de
e Tecnologia da Universidade
Estadual do Norte Fluminense, como parte
das exigências para obtenção do título de
Mestre em Ciências de Engenharia , na
área de concentração de
Produção.
Aprovada em 21 de março de 2003
Comissão Examinadora:
Renato de Campos, D.Sc.- UENF
André Luis Policani Freitas, D.Sc - UENF.
José Rodrigues de Farias Filho, D.Sc – UFF
Helder Gomes Costa, D.Sc-UENF-UFF
Orientador
iii
Engenharia de
DEDICATÓRIA
À minha família, pelo incentivo em todos os
momentos da minha vida e, com carinho
muito especial, aos meus filhos Kíssila,
Paulo Sérgio e Felipe e ao meu esposo
Paulo pelas alegrias e pela felicidade de
nossa convivência.
iv
AGRADECIMENTOS
•
A Deus, pela concessão constante da misericórdia e pela perene de
bênçãos.
•
Aos amores de meus dias - meus pais Paulo Urbano e Valdéa; meus
irmãos; meus filhos Kíssila, Paulinho e Felipe; meu esposo Paulo!
•
Marília
de
Fátima,
pela
amizade
leal
que
muito
incentivou
e
compartilhou desta trajetória.
•
Thereza Christina e Selmo pelo apoio e carinho dispensados
•
Aos amigos que me cativaram... ! ... e aos professores do Curso de
Engenharia
de
Produção
que
participaram
de
meu
caminhar
acadêmico!
•
Ao meu orientador, Prof. Helder Gomes Costa, pela consciência de seu
papel
como
educador,
que
despertou
em
mim
à
vontade
de
desenvolver este trabalho, além da competência com que conduziu o
mesmo.
v
Seja qual seja a circunstância
Da estrada, aí encontramos a
Ocasião precisa para realizar
O melhor.
(Emmanuel)
vi
SUMÁRIO
Resumo................................................................................................................. X
.
Abstract................................................................................................................ Xi
.
Lista de
Xii
Tabelas....................................................................................................
Lista de
Xiii
Gráficos...................................................................................................
Lista de
Xiv
Figuras....................................................................................................
Lista de Siglas
Xv
CAPITULO I - INTRODUÇÃO
1.1
Situação Problema
02
1.2
Objetivos
03
1.3
Justificativa
04
1.4
Procedimentos Metodológicos
06
1.5
Estrutura Proposta Para a Dissertação
07
CAPITULO II – REFERENCIAL TEÓRICO
2.1
Perspectiva Histórica da Universidade Brasileira
09
2.2
Missão da Universidade Face às Novas Solicitações da Sociedade
11
2.3
A Universidade Cidadã
16
vii
A Universidade como Organização Produtiva Prestadora de
17
Serviços Educacionais
2.4
2.5
2.6
2.7
2.4.1 – As IES e a gestão de participação
2.4.2 – As IES como organização produtiva
20
2.4.3 – Serviços
23
Qualidade na Educação com Foco na Prestação de Serviços
28
2.5.1- Qualidade de Serviço
31
2.5.2- Medidas da qualidade do serviço na IES
37
Avaliação Institucional
41
2.6.1-Avaliação: Definições
43
2.6.2-Necessidade e importância da Avaliação
46
Formas de Avaliação
52
CAPITULO III – MODELAGEM DO PROBLEMA
55
CAPÍTULO IV - CONCLUSÃO E SUGESTÕES PARA
74
DESENVOLVIMENTO FUTURO
REFERÊNCIAS BIBLIOGRÁFICAS
80
ANEXO I - Descrição do Método Electre Tri
100
ANEXO II – Julgamento de valor quanto ao desempenho da IES X ,nos
111
períodos de 200/2 ; 2001/1 e 2001/2
ANEXO III – Adaptação da técnica DELPH
viii
129
Resumo de tese apresentado ao CCT/UENF como parte das exigências
necessárias para obter o grau de mestre (MT) em Ciências da Engenharia
(área de Engenharia de Produção).
AVALIAÇÃO INSTITUCIONAL DE IES: UM ESTUDO DE CASO SOB A
ÓPTICA DO CORPO DISCENTE
TÂNIA APARECIDA AZEREDO DA CONCEIÇÃO RIBEIRO
Orientador: Prof. Helder Gomes Costa
Março - 2003
A universidade brasileira nas últimas décadas, passou por mudanças importantes,
tanto em termos de quantidade quanto de qualidade.Este trabalho tem por objetivo
investigar a problemática da avaliação institucional de IES, sob a óptica discente,
considerando os conceitos de qualidade dos serviços e de pesquisa operacional
( análise Multicritério). Para alcançar este objetivo, aplicou-se a Análise Multicritério
utilizando o Método ELECTRE TRI - Elimination Et Choice Traidusaint La Realité -,
que possibilita uma compreensão mais ampla dos resultados e da subjetividade
inerente ao problema abordado.
Palavras-chave: Multicritério.ELECTRE TRI. Avaliação Institucional. IES.Corpo
Discente
ix
Abstract presented to CCT/UENF as part of the requirements necessary for
obtaining the master’s degree (M.Sc.) in Engineering Sciences (Production
Engineering area).
UIVERSITY PERFORMANCE EVALUATION: A CASE STUDY UNDER
STUDENTS VIEW
TÂNIA APARECIDA AZEREDO DA CONCEIÇÃO RIBEIRO
Advisor:: Prof. Helder Gomes Costa
March - 2003
Brazilian universities went through important changes, durin last decades,on both
quantity and quality terms. This thesis aims to investigate the questions related to
Superio
Education
Institutions
performance
evaluation,
under
thestudents
view,considering the correpts of service quality and Multicriteria Decision Making.
To reach this god,MCDM was applyed thrugh the use of a model based upon
ELECTRE TRI method,for the student satisfaction classification according to predefinid quality standards. A comparision with traditional classification methods was
also made.
The approach based repon ELECTRE TRI
method- Elimination Et Choice
Traidusaint La Realité -, yeld to a better comprehension of the results and the
inherent problem subjectivity ,allowing a better credibility of the result classification.
Key Words: MDCA. Multicriteria.ELECTRE TRI. University Evaluation.
x
LISTA DE TABELAS
Capítulo III
Tabela 1
Escala para o Julgamento dos Graus de Importância
59
Tabela 2
Critérios e os respectivos pesos
59
Tabela 3
Limites das categorias utilizadas no experimento
60
Tabela 4
Escala de conversão para o julgamento dos critérios
61
Tabela 5
Amostra e população utilizada na pesquisa
62
Tabela 6
Resultados referentes a 2000/2
63
Tabela 7
Resultados referentes a 2001/1
64
Tabela 8
Resultados referentes a 2001/2
64
Tabela 9
Percepção dos discentes
64
Tabela 10
Limites de preferência e indiferença para cada critério
66
Tabela 11
Critérios e os respectivos pesos atribuídos pela alta direção
73
xi
LISTA DE QUADROS
Quadro 1
Classificação da IES em padrões pré-definidos
Quadro 2
Modelos de Avaliação de qualidade de Educação
Superior
03
49
Quadro 3
Lista de Critérios estabelecidos pela comissão
57
Quadro 4
Critérios finais estabelecidos pela comissão
58
Quadro 5
Resultados obtidos na utilização pelo ELECTRE TRI
utilizando a média
Quadro 6
Resultados obtidos na classificação do ELECTRE
TRI utilizando a moda
Quadro 7
Classificação Geral da IES
Quadro 8
Grau de credibilidade pelo ELECTRE TRI ( utilizando
a média), uma visão otimista
Quadro 9
Grau de credibilidade pelo ELECTRE TRI ( utilizando
a média), uma visão pessimista
Quadro 10 Grau de credibilidade pelo ELECTRE TRI ( utilizando
a moda), uma visão pessimista
Quadro 11 Grau de credibilidade pelo ELECTRE TRI ( utilizando
a moda), uma visão otimista
xii
67
68
69
71
71
72
72
LISTA DE FIGURAS
Capítulo II
Figura 1
Contrastes entre o modelo participativo e o modelo diretivo de
administração
19
Figura 2
Sistema de Ensino como Processo de Transformação
21
Figura 3
O Aluno Cliente / Produto /Agente de Transformação
22
Figura 4
Características do Serviço
27
Figura 5
Percepção da Qualidade pelo Aluno é Considerada Aceitável
37
Figura 6
Percepção da Qualidade pelo Aluno é Julgada Boa
38
Figura 7
Percepção da Qualidade pelo Aluno é Julgada Pobre
38
Figura 8
Benefícios da Satisfação do Cliente e Qualidade do Serviço
40
Capítulo III
Figura 9
Formulário de Avaliação
62
xiii
LISTA DE SIGLAS
A – Conjunto de Alternativas
IES – Instituição de Ensino Superior
PAIUB - Programa de Avaliação Institucional das Universidades Brasileiras
GI – Grau de Importância
GS – Grau de Satisfação
p- Limite de preferência no critério j
q- Limite de Indiferença no critério j
v- Limite do veto
λ - Nível de Corte
MEC – Ministério de Educação e Cultura
SAEB – Sistema de Avaliação do Ensino Básico
EE - Empowerment Evaluation
ENEM- Exame Nacional do Ensino Básico
RH – Recursos Humanos
LDB – Lei de Diretrizes e Bases
xiv
CAPÍTULO l
INTRODUÇÃO
A relevância que as instituições de educação superior assumem, em virtude
de sua vinculação com o desenvolvimento, tecnológico, econômico e
cultural, somada à responsabilidade de formar o homem cidadão e
profissionalmente competente, exige o comprometimento com os princípios
de qualidade.
Pensar qualidade na educação pressupõe pensar avaliação. A qualidade na
educação deve estar relacionada à retórica da excelência e não se deve
falar em avaliação sem essa proposta.
Atualmente já não se discute a necessidade da avaliação, mas como a
mesma deve ser processada. Para Demo (1994) a qualidade é um processo
de construção e participação coletiva, envolvendo os diferentes segmentos
da organização. Assim, neste trabalho parte significativa dos estudos, na
dimensão do ensino de graduação, voltou-se para as experiências da
elaboração
de
sistemas
de
avaliação
visando
o
aprimoramento
de
Instituições de Ensino Superior (IES) a partir da opinião do corpo discente,
que é um dos segmentos significativos desse tipo de Instituição.
A
universidade
brasileira,
nas
últimas
décadas,
vem
passando
por
mudanças importantes, tanto em termos de quantidade quanto de qualidade.
O crescimento vertiginoso do número de cursos superiores, a criação de
novos cursos de pós-graduação, o aumento no número de alunos e
necessidade de melhor qualificação profissional dos professores contribuem
para um quadro diversificado em que a rapidez das mudanças dificulta a
análise das Instituições de Ensino Superiores (IES).
Capítulo l - Introdução
2
As atividades desenvolvidas pelas IES caracterizam-se como processos de
prestação de serviços, dependendo fundamentalmente de pessoas, principalmente do corpo docente e dos clientes (alunos 1 em primeiro plano e a
sociedade de forma geral).
A avaliação da IES pelos corpos docente e discente revela ser esta uma
ação que se firma como indispensável, tendo em vista a ligação destes com
todas as funções que cabem ser cumpridas pela Universidade (Both, 1998).
Esta questão também é corroborada pelo Programa de Avaliação (PAIUB) e
pela Lei de Diretrizes e Bases (LDB).
Neste trabalho se pretendeu investigar avaliação de IES, com enfoque na
auto-avaliação,
considerando
o
processo
de
avaliação
interna
que
contempla a gestão institucional, acadêmica e setorial, do ponto de vista do
corpo discente.
Espera-se, a partir de uma associação entre as necessidades dos alunos e
a capacidade da universidade oferecer-lhes a formação cidadã, além da
construção
do
conhecimento,
obter
respostas
mais
consistentes,
promovendo-se mudanças nos aspectos que se deseja alcançar.
Sobrinho (2002) fala da avaliação numa “perspectiva de democracia, porque
ela há de ser um elemento essencial da emancipação e da elevação da
qualidade profissional e social”. Pautando este trabalho por critérios
técnicos, busca-se aplicar a teoria na prática, fazendo deste estudo um
espaço de sensibilização para a avaliação democrática institucional.
1.1 SITUAÇÃO PROBLEMA
Dentre os diversos ângulos existentes no processo de avaliação institucinal,
há um destaque na percepção do corpo discente quanto à qualidade do
serviço prestado pela IES. Uma das manifestações deste problema é a
1
Sob uma outra perspectiva, o corpo discente pode ser reconhecido como produto em processo.
Capítulo l - Introdução
3
classificação das IES em classes de padrões pré-estabelecidos. O Quadro 1
busca ilustrar este problema:
Muito Bom
?
Bom
Regular
“Xj”: IES a classificar
Ruim
Muito Ruim
Quadro 1 – Classificação da IES em padrões pré-estabelecidos.
Estabelecida à classificação, a instituição poderá promover ações para
desenvolver suas potencialidades e reduzir seus pontos fracos, constituindo
assim em instrumento de gestão, para suporte à decisão na busca da
melhoria contínua.
1.2 OBJETIVOS
Este trabalho tem por objetivo investigar a problemática da avaliação
institucional de IES, sob a ótica discente, considerando os conceitos de
qualidade dos serviços e de Pesquisa Operacional (análise multicritério).
Como
resultado
desta
investigação,
esse
trabalho
apresenta
uma
abordagem inédita que contempla a construção de uma modelagem
baseada na análise multicritério para avaliação de desempenho de IES sob
a ótica discente.
Capítulo l - Introdução
4
1.3 JUSTIFICATIVA
Atualmente, a avaliação institucional é uma realidade no campo das
políticas universitárias, dos governos e de vários organismos internacionais
de financiamento da educação, e uma das necessidades estruturais do
Ensino Superior Brasileiro, tanto no plano acadêmico-pedagógico, quanto no
das exigências legais. A avaliação da Educação é uma das prioridades do
Governo Federal e, dessa maneira, a Avaliação Institucional deve estar em
constante evolução.
Muitos estudiosos do campo da avaliação têm destacado a indiscutível
importância de se avaliar uma Instituição de Ensino Superior (IES), visando
à construção de um conceito de qualidade de ensino mais condizente com a
pós-modernidade.
A
avaliação
surge
como
uma
das
mais
ricas
oportunidades para redefinir ou reafirmar a missão institucional e seus
valores, revelando-se excelente exercício formativo para a comunidade
acadêmica que passa a se responsabilizar pelo uso dos resultados.
Todas
as
necessidades
advindas
da
avaliação
institucional
vêm
desencadeando estudos, reflexões e propostas numa busca de modelos e
programas educacionais apropriados, em consonância com o contexto a que
se destina e voltados para a utilização das tecnologias de informação e
comunicação.
Para Sousa (1997), um primeiro aspecto a notar é a dimensão continental
do Brasil e, como decorrência disto, a dimensão populacional, pois a
pluralidade e as diferenças dos discentes impõem a análise de alguns
pontos.
Caracterizada como uma ferramenta auxiliar no processo de gestão das
políticas
educacionais
e
na
administração
do
ensino,
a
avaliação
institucional é tida atualmente como uma medida avançada que possibilita
às universidades se conhecerem melhor e redirecionarem-se no sentido de
aperfeiçoar a sua competência, cumprindo o objetivo maior de aumentar a
Capítulo l - Introdução
eficácia
social
de
suas
atividades.
“A
avaliação
institucional
5
das
universidades é (...) reconhecida como uma necessidade por todos os
setores envolvidos com a vida universitária” (MEC/PAIUB, 1994,5). É uma
análise valorativa da organização, do seu funcionamento e dos resultados
dos processos acadêmicos e administrativos define Vahl (1991).
O decreto nº 2026, de l0 de outubro de 1996, estabeleceu o Sistema
Nacional de Avaliação do Ensino Superior, conduzido pelo Instituto Nacional
de Pesquisa e Estudos Educacionais – INEP (MEC). Um dos procedimentos
de avaliação do ensino superior compreende a avaliação do ensino de
graduação, através da análise das condições de oferta pelas diferentes
instituições de ensino. Dentro deste contexto há um item que leva em
consideração a avaliação interna da IES sob a ótica do discente.
A implementação do processo de avaliação compreende duas linhas de
atuação. A primeira de inteira responsabilidade da Instituição, concebida
pela comunidade acadêmica, com finalidade de produzir uma qualidade
cada vez melhor e socialmente mais significativa. A segunda é um modelo
de avaliação de educação nacional, a ser conduzido pelo Estado, onde a
transformação, dos objetivos em critérios de avaliação nem sempre são
transparentes e consensuais (Sguissardi, 1997).
A avaliação entendida como um insumo do processo mais amplo de
planejamento da organização, permite obter o diagnóstico de necessidades
e identificar as ações que se podem fazer na gestão da organização,
permitindo retro-alimentar as mais diversas atividades das instituições.
Em síntese, a avaliação além de verificar se a instituição está atingindo
seus objetivos e cumprindo sua missão, deve exercer um papel de
direcionador na busca da melhoria contínua.
Oliveira et al (1999) afirmam que os motivos que levam a avaliar as
instituições de ensino vão desde a melhoria da utilização dos recursos-fim
Capítulo l - Introdução
até
a
oportunidade
de
tomar
decisões
relativas
às
6
dimensões
administrativas e pedagógicas.
As avaliações são múltiplas e devem ser feitas por ângulos diferentes,
assim que todo cientista social deve observar os fatos como se olhasse um
cubo: cada face oferece uma nova dimensão, uma perspectiva diferente e,
ao mesmo tempo, complementar. Desta forma, a avaliação tem um forte
componente subjetivo - sobretudo ao se considerar as especificidades
regionais.
Este contexto motivou a escolha do tema Avaliação Institucional de IES e o
emprego de técnicas de Análise Multicritério, capazes de tratar problemas
envolvendo múltiplos critérios e a subjetividade inerente ao processo de
avaliação e classificação.
Este estudo é parte de um conjunto de análises sobre as IES, vistas sob
vários ângulos.Espera-se que, com mais esta abordagem multicritério, se
possa melhor perceber a realidade multidimensional das universidades
brasileiras (Motta, 2001 e Barroso 2002).
1.4
PROCEDIMENTOS METODOLÓGICOS
A abordagem metodológica desse trabalho está estruturada na realização
das seguintes etapas:
Caracterização
da
situação
problema,
identificando
suas
características gerais e específicas e, também, as formas usuais de
abordagem
do
mesmo
através
de
uma
fundamentada
revisão
bibliográfica.
Devido
às
questões
peculiares
do
problema,
que
tem
forte
componente subjetivo, optou-se pela modelagem de sua solução pela
aplicação da análise multicritério.Este fato se deve a reconhecida
Capítulo l - Introdução
7
habilidade da análise multicritério em lidar com problemas de natureza
subjetiva.
Realização de um estudo de caso, com o objetivo de avaliar o
componente da abordagem multicritério a um problema específico.O
uso da técnica de estudo de caso foi escolhido por permitir avaliar o
comportamento
da
abordagem
em
um
problema
específico,
respeitando as particularidades e contornos da situação problema.
Na abordagem do problema específico, aplicou-se a Análise Multicritério
(Método ELECTRE TRI -Elimination Et Choice Traidusaint La Realité
reportado em Yu (l992), Mousseau et al (l999) e Rogers et al (2000). O
ELECTRE possibilita uma compreensão mais ampla dos resultados e da
subjetividade inerente ao problema abordado).
As
informações
a
serem
processadas,
foram
coletadas
através
de
questionários e entrevistas com alunos de uma instituição superior de
ensino, e neste trabalho tanto serão omitidos os nomes dos alunos quanto
da instituição, pois o que se pretende é quantificar as avaliações dos
discentes para, posteriormente, analisar esses dados. O recorte temporal
recai sobre a avaliação por alunos matriculados entre 2000 (2º. semestre) e
2001 (1º. e 2º. semestres).
O detalhamento da aplicação desta abordagem é apresentado no capítulo lll.
1.5 ESTRUTURA PROPOSTA PARA A DISSERTAÇÃO
Para desenvolver este tema, a dissertação estará estruturada da forma
descrita a seguir.
O capítulo l apresenta uma abordagem introdutória do problema de
avaliação em IES, sob a óptica discente, objetivando apresentar um estudo
de caso que contempla a construção de uma modelagem com base na
análise multicritério, utilizando o método ELECTRE TRI.
Capítulo l - Introdução
8
O capítulo ll do referencial teórico aborda as temáticas principais que
permeiam a análise neste trabalho, analisando a universidade cidadã como
organização prestadora de serviço, a qualidade dos serviços educacionais e
os principais conceitos e formas a respeito da avaliação institucional.
O capítulo lll apresenta a modelagem do problema desenvolvido pelo
método ELECTRE TRI, bem como os procedimentos utilizados para a
consecução do objetivo da pesquisa, que tem por tema a avaliação
institucional, com julgamento de valor sob a ótica dos discentes, trazendo
ao final os resultados obtidos e sua respectiva análise.
O capítulo lV é dedicado a conclusão relativa a adequação e aplicabilidade
da
metodologia,discutindo
os
resultados
e
apresentando
algumas
considerações finais a respeito da avaliação sobre Instituições de Ensino
Superior no Brasil e sugestões para trabalho posteriores.
Após o capítulo lV, são apresentadas as referências bibliográficas que
possibilitaram o desenvolvimento deste trabalho.
O anexo 1 apresenta a descrição do método ELECTRE TRI, utilizado como
ferramenta neste trabalho.
O anexo 2 contém os dados disponíveis da pesquisa.
O anexo 3 apresenta uma adaptação da Técnica Delphi.
Capítulo l - Introdução
9
Capítulo ll- Referencial Teórico 9
CAPÍTULO ll
REFERENCIAL TEÓRICO
Este capítulo apresenta um referencial teórico que envolve as universidades
brasileiras sob uma perspectiva histórica. Incluindo também mudanças que
vêm ocorrendo em diversos âmbitos da sociedade, nas quais a educação
assume um papel relevante neste processo na medida em que prepara os
indivíduos para as relações sociais.
Aborda a universidade cidadã, uma organização produtiva com concepção
participativa, onde a instituição interage de forma ativa com o ambiente,
com objetivos e estruturas organizacionais.
Neste contexto é imprescindível refletir sobre qualidade: conceitos e
inserção nos serviços educacionais focalizando alguns tipos de abordagens
que são consideradas de grande importância para uma educação tanto
produtiva quanto evolutiva nos dias atuais, onde a globalização é um fator
predominante para que tal objetivo seja alcançado.
Ainda se torna necessário explanar sobre a importância, conceitos e formas
de avaliação institucional.
2.1
A
PERSPECTIVA HISTÓRICA DA UNIVERSIDADE BRASILEIRA
moderna
universidade
brasileira
tem
suas
origens
nas
reformas
promovidas por Francisco Campos e por Anísio Teixeira ainda na década de
1930. Desde então, o número de cursos e de instituições superiores foi
crescendo paulatinamente.
Capítulo ll - Referencial Teórico
10
Sguissardi (1997) menciona que a partir dos anos 50 foi iniciado um intenso
questionamento
do
modelo
de
ensino
superior
brasileiro.No
entanto
importante impulso para a criação de universidades como centros de
reflexão crítica foi dada por Darcy Ribeiro que, ao criar a Universidade de
Brasília no início da década de 1960, declarou não termos, no Brasil, uma
verdadeira tradição universitária a defender e preservar: “nas condições
presentes só uma universidade nova, inteiramente planificada, poderá
estruturar-se em bases mais flexíveis e abrir perspectivas de pronta
renovação do nosso ensino superior” (Ribeiro, [s.d.]: 35-41).
Em 1968 com a implementação da reforma universitária, projetou-se a
organização de ensino superior em universidades, instituindo o sistema de
decisão colegiada e estabelecendo a indissociabilidade entre ensino e
pesquisa.
Segundo Demo (1994), a universidade buscava novos objetivos: com a
identidade nacional assegurada, a necessidade agora era fazer com que o
povo tomasse consciência de seus valores e de sua cultura, procurando
inserir na mentalidade brasileira estudos onde se privilegiava o social.
Desde então, o ensino universitário brasileiro vem buscando consolidar esta
identidade
própria,
lutando
para
consolidar-se
como
fundamental
e
necessário não somente para o preparo técnico, sobretudo, para a formação
de uma consciência voltada para o ingresso do profissional na vida do país
(Demo, 1994).
Durante e imediatamente após os anos de regime militar, em que a
universidade brasileira cresceu em termos numéricos, mas teve seus
professores severamente vigiados, o questionamento inerente ao saber
universitário foi minimizado, deixando de ser discutidas as novas tendências
e novas descobertas da ciência.
De uma certa forma, a universidade brasileira viu-se sem rumos neste período, só reencontrando seu caminho quando a intelectualidade pôde retomar
Capítulo ll - Referencial Teórico
11
contato com o debate.
Com os professores reencontrando a liberdade de estudo e de criação, as
linhas de pensamento passaram a ser discutidas no âmbito universitário;
sobretudo, retomou-se o questionamento a respeito das questões sociais e
estruturais nas quais se insere o ensino superior (Demo, 1994).
Schwartzman (1992) identifica que na década de 80, o ensino superior no
Brasil passou por um período de acelerada expansão de oferta de vagas e
forte demanda de pós-graduação.
Paralelamente a estas transformações pelas quais passaram as IES, a
avaliação passou a ser uma necessidade imediata (Freitas, l994).
2.2
MISSÃO DA UNIVERSIDADE FACE ÀS NOVAS SOLICITAÇÕES DA
SOCIEDADE
Para Noé (1996), a globalização, em um primeiro momento representado
pela mundialização dos mercados e sua crescente integração, transcende,
hoje, os fenômenos econômicos e penetra nas dimensões políticas, sociais
e culturais. Se, para os Estados Unidos a palavra “globalização” tem uma
conotação estritamente econômica, de conquista de mercados, para os
franceses, a preferência recai sobre a palavra “mundialização”, que se
refere à difusão cultural (Noé, op cit).
De qualquer forma, esse processo histórico implica em mudanças em
diversas esferas, e a educação é parte importante desse processo, na
medida em que prepara os indivíduos para as relações sociais e para o
futuro.
Nesse contexto ainda, não só o conteúdo, mas também a qualidade do
trabalho
humano
modificaram-se:
a
divisão
técnica
ficou
menos
evidenciada; os grupos de trabalhos substituíram a produção individualizada
e as tarefas do posto de trabalho foram eclipsadas pelas funções
Capítulo ll - Referencial Teórico
12
polivalentes, transformados em grupos semi-autônomos; a difusão das
ferramentas de tratamento de informação e os velozes avanços no acesso
às redes mundiais de informação e comunicação favoreceram a mobilidade
entre os empregos (Noé, op cit).
Ainda segundo Noé (op cit), devido a esses e a tantos outros fatores, o
trabalho torna-se mais abstrato, mais intelectualizado, mais autônomo,
coletivo e complexo. Assim, as novas funções do trabalho humano exigem
um trabalhador polivalente que deve ter um perfil muito mais “generalista”
do que especialista. Para tanto, o homem da era da globalização precisa
construir competências que só podem ser desenvolvidas em longo prazo e
sobre uma base de educação geral.
Sendo assim, a educação não pode mais ficar restrita a tempo ou a espaços
e muito menos se prender a paradigmas que entendam a Universidade como
espaço exclusivo da educação, pois, no mundo pós-moderno, todos os
momentos e espaços são educativos.
O papel da universidade torna-se o de desenvolver a subjetividade do
indivíduo, por intermédio de uma ação comunicativa político-social que lhe
proporciona autonomia intelectual e moral de modo que possa sentir-se apto
a atender às demandas sócio-político e econômicas da sociedade em que
vive e, também, a atuar crítica e ativamente nesta mesma sociedade.
Nasce, assim, a proposta do profissional-cidadão que desenvolve uma nova
relação com seu trabalho e, como sujeito, gera mudanças, inova e mantémse sempre atualizado pela educação, conforme assinala Catani (1996).
Sob esta ótica, as reflexões sobre a universidade já não se resumem mais a
uma opção entre o tradicional e o moderno. A universidade reflete sobre o
seu papel institucional numa sociedade pós-industrial e caracterizada pela
globalização da economia, das comunicações, da educação e da cultura;
pelo pluralismo político; pela reivindicação por participação e autonomia
(Catani, op cit).
Capítulo ll - Referencial Teórico
13
Assim, para atender a todas essas questões, há necessidade de um projeto
próprio para cada universidade. O projeto pedagógico é sempre político
para poder rever o já instituído, não no sentido de negá-lo, mas no intuito de
atualizá-lo, sendo, por isso, sempre inacabado, dinâmico, como assinalam
Gadotti e Romão (1997).
Os planos da universidade (conjunto de objetivos, metas e procedimentos)
fazem parte de um projeto e são estabelecidos de acordo com ele. Para
isto, a universidade deve ter autonomia e possuir uma gestão democrática
para
a
construção
de
seu
projeto
político-pedagógico,
de
forma
interdisciplinar, já que essas características fazem parte da própria natureza
do ato pedagógico.
A gestão democrática implica em atitudes e métodos democráticos para o
efetivo
exercício
da
democracia.
Desta
forma,
um
projeto
político
pedagógico, para ser construído a partir de um processo democrático deve
apoiar-se: no desenvolvimento de uma consciência crítica; no envolvimento
da
comunidade
interna
e
externa
à
universidade;
na
autonomia,
responsabilidade e criatividade como processo e como produto do projeto.
(Gadotti e Romão, op cit).
Da mesma maneira, a gestão democrática, como uma ação intencionada
com um sentido definido sobre o que deseja inovar, possui dois momentos:
momento da concepção do projeto; momento da institucionalização e
implementação do mesmo.
Contudo,
a
implantação
de
uma
universidade
pautada
pela
gestão
democrática enfrenta muitos obstáculos, dentre eles destacam-se: a pouca
experiência democrática; a mentalidade que atribui aos técnicos e apenas a
eles a capacidade de planejar e governar e que considera a comunidade
acadêmica incapaz de participar de um planejamento coletivo em todas as
suas fases; a própria estrutura do sistema educacional é vertical; o
autoritarismo que impregnou a prática educacional; o tipo de liderança que
tradicionalmente domina a atividade política no campo educacional.
Capítulo ll - Referencial Teórico
14
Nesse sentido, opta-se por uma concepção plena de cidadania que consiste
na
mobilização
da
sociedade
para
a
conquista
dos
direitos
acima
mencionados e que devem ser garantidos pelo Estado, lutando-se, assim,
contra a concepção consumista de cidadania, pois esta é apenas um
produto da solidariedade individual entre as pessoas e não uma conquista
no interior do próprio Estado.
Exigem-se mudanças urgentes na universidade para que os alunos sejam
capazes de enfrentar os problemas da sociedade.
responsabilidade
de
toda
a
sociedade
e
Educação, portanto, é
não
se
encerra
nos
estabelecimentos de ensino, exigindo novas parcerias. Esse movimento
altera o sentido de educação e de universidade.
Neste contexto a universidade passa a ser vista como organização viva e
composta por uma rede de relações entre todos os seus elementos
componentes, e a gestão universitária procura acompanhar essa dinâmica
de interações. Nesse modelo de transição são criados espaços para novos
paradigmas.
Assim sendo, muda a fundamentação teórico-metodológica do trabalho da
universidade, em que a direção passa a ser vista como um processo de
equipe. Esse paradigma é marcado pela consciência da realidade e das
relações sociais.
Esse novo paradigma se fundamenta ainda nos pressupostos de que a
realidade é global e dinâmica, assim como o comportamento humano; as
incertezas, conflitos e contradições são inerentes aos processos sociais e
são oportunidades de crescimento e de transformação; a busca do sucesso
deve ser um processo e não uma meta; a responsabilidade do dirigente é a
articulação dos elementos humanos promovendo as bases para uma partici pação ativa e conjunta de todos, conforme Tachizawa e Andrade (2001).
A universidade, por ser uma
organização social, necessita ter autonomia e
Capítulo ll - Referencial Teórico
15
como esta não se restringe a uma questão financeira, entende-se a
autonomia universitária como um processo de gestão participativa em que a
descentralização é um meio e não um fim.
A autonomia da universidade tem várias dimensões: financeira, política,
administrativa e pedagógica. Isto requer uma gestão democrática e isto
implica em responsabilidade, transparência e expressão de cidadania.
Todas as ações devem ser avaliadas, para que se evidencie a eficácia de
seus resultados, o que dá credibilidade à universidade e à proposta
educacional. Logo, auto-avaliação é parte essencial da gestão democrática,
abrangendo cinco categorias: gestão participativa, gestão pedagógica,
gestão de pessoas, gestão de serviços de apoio e de recursos físicos e
financeiros (Luck, 2000).
Considerando que uma das missões da universidade é formar o homem
cidadão, deve existir, portanto, uma gestão participativa, que permita ao
aluno, elemento constitutivo da universidade, participar do processo de
avaliação da mesma.
Um recurso importante, neste sentido, é recorrer ao que diz a legislação
sobre o ensino superior.
De acordo com a Lei 9.394/96, conhecida como
Lei de Diretrizes e Bases (LDB), existem alguns critérios que devem
necessariamente, permear a relação instituição superior – docente –
discente.
A realidade da formação profissional está inserida e baseada em uma
estrutura complexa, que conduz à formação de profissionais em vários
níveis, seja científico, tecnológico, técnico, prático ou teórico. A formação
do discente se insere em uma estrutura social, política, econômica e cultural
e é necessário tanto atender à demanda do mercado de trabalho quanto à
criação de um profissional que tem o dever de instigar a busca de novos
conceitos.
Capítulo ll - Referencial Teórico
16
Assim é necessário pensar em um modelo de avaliação que seja, também,
uma forma de construir e consolidar a democracia, inseparavelmente, a
universidade cidadã (Sobrinho e Ristoff, 2002).
2.3
A UNIVERSIDADE CIDADÃ
A educação, direito de todos e dever do Estado e da família, será promovida
e
incentivada
com a
colaboração
da
sociedade,
visando
ao
pleno
desenvolvimento da pessoa, seu preparo para o exercício da cidadania e
sua qualificação para o trabalho (Constituição Federal, artigo 205). A
Educação Superior tem por finalidade: estimular o conhecimento dos
problemas do mundo presente, em particular os nacionais e regionais,
prestar serviços especializados à comunidade e estabelecer com esta uma
relação de reciprocidade, valorizando o ser humano, a cultura e o saber.
(Lei de Diretrizes e Bases da Educação, artigo 43, VI).
Surge nos dias de hoje, o movimento (calcado no similar “escola cidadã”)
chamado de universidade cidadã como resposta à burocratização do
sistema
de
ensino e
à sua ineficiência,
continuando os ideais da
universidade pública popular proposta por Paulo Freire.
A universidade cidadã adota como eixos norteadores: a integração entre
educação e cultura, universidade e comunidade (educação multicultural e
comunitária);
a
democratização
das
relações
de
poder
dentro
da
universidade; a visão interdisciplinar e transdisciplinar e a formação
permanente de professores.
A nova universidade deve propor uma mudança de paradigmas adotando
práticas interativas, participativas e democráticas, de forma dinâmica e
global, estabelecendo alianças e parcerias na busca de soluções e de novas
propostas.
Deve ainda a Universidade promover a formação humanista do cidadão com
Capítulo ll - Referencial Teórico
17
capacidade crítica frente à sociedade, de modo a construir e difundir os
valores éticos, de liberdade, igualdade e democráticos, colaborando para a
construção de um presente e de um futuro mais justo.
Lembrando
o
que
dizem Sobrinho
e
Ristoff
(2002)
a
respeito:
“A
universidade somente conseguirá justificar socialmente sua existência se
assumir sua vocação ética e política de fortalecimento da democracia, de
consolidação na formação cidadã e do aprofundamento do sentido público
de educação”. Resumindo, esses autores afirmam que a universidade, sem
abdicar de seu papel de propor a formação de profissionais competentes,
deve contribuir para a formação do homem, do ser humano, em sua
totalidade.
A autonomia da Universidade, enquanto direito fundamental, visa garantir a
liberdade de pensamento, de produção e transmissão do conhecimento e a
autogestão eficaz dos seus recursos e meios para o fiel cumprimento do seu
papel social. A Universidade deve exercer a autonomia por meio de seus
órgãos colegiados. A Universidade cidadã tem caráter emancipatório e
gestão participativa, o que será abordado a seguir.
2.4 A UNIVERSIDADE COMO ORGANIZAÇÃO PRODUTIVA PRESTADORA
DE SERVIÇOS EDUCACIONAIS
2.4.1 AS IES E A GESTÃO DE PARTICIPAÇÃO
Participar não é natural nos modelos convencionais de administração, a
implementação da administração participativa ou gestão democrática é um
dos campos mais complexos da moderna teoria geral da administração,
envolvendo diversos conceitos, técnicas, experiências e um profundo
conteúdo filosófico.
Nas últimas décadas vários fatores
têm contribuído para a adoção do
modelo de administração participativa. Segundo Motta (1981) existem
algumas razões que justificam o fortalecimento deste modelo, como por
Capítulo ll - Referencial Teórico
18
exemplo: a democratização das relações sociais, a elevação do nível
educacional, a complexidade das empresas modernas e a intensificação das
comunicações.
Participação consiste na “criação de oportunidades para que as pessoas
influenciem decisões que as afetarão”.Essa influência pode variar muito ou
pouco, afirma Paterman (1970).
Conforme Maximiano (1995) a administração participativa “é uma filosofia
ou política de administração de pessoas (...) que aprimora a satisfação e a
motivação no trabalho (...) contribuindo para o melhor desempenho e
competitividade das organizações”.
Chiavenato (2002) entende por participação o envolvimento mental e
emocional das pessoas em situação de grupo que as encorajam a contribuir
para os objetivos do grupo e a assumirem a responsabilidade de alcançalos.
A participação é uma nova maneira de conceber a organização e resolver
conflitos, pois há o comprometimento de todos os envolvidos. Na concepção
participativa, a instituição interage ativamente com o seu ambiente. Esta
nova
proposta
traz
um
enriquecimento
admirável
à
administração
educacional, tendo em vista a concepção ampliada de Instituição e da
comunidade.
Likert (1971) em uma de suas pesquisas criou uma escala de medir
organizações de melhor desempenho. O extremo esquerdo da escala
corresponde ao modelo de organização diretiva e no extremo direito a
organização participativa. Entre os dois extremos ficam as organizações
intermediárias, com características dos dois modelos apresentados. O
resultado da pesquisa mostrou que à medida que a escala ia do centro para
a direita, a organização tinha melhor desempenho, medido pela satisfação
de todos os envolvidos na organização.
Capítulo ll - Referencial Teórico
19
As organizações podem ser mais ou menos diretivas ou mais ou menos participativa e cada modelo tem características próprias conforme figura 1.
Modelo diretivo
Autoritário
Hierárquico
Obediência
Modelo
participativo
Autogestão
Disciplina
Autonomia
Figura 1 - Contrastes entre o modelo participativo e o modelo diretivo de
Administração. Fonte: Ferreira (1997)
Este modelo valoriza a participação das pessoas no processo de tomar
decisões sobre diversos aspectos da administração das organizações,
afirma Chiavenato (op cit).
É necessário esclarecer que a administração participativa pode ser direta
quando dirigida à pessoa individualmente e a participação representativa
dos
diferentes
membros
da
organização,
através
de
representantes
escolhidos para este propósito (Ferreira, 1997).
Mendonça (1987) identifica alguns objetivos que se deseja alcançar com a
gestão participativa:
Responsabilidades sociais da empresa.
Cultura democrática.
Redução da alienação.
Utilização do potencial das pessoas.
Diminuição de conflitos através da cooperação.
Satisfação das pessoas.
Maior competitividade.
Para
atingir
os
objetivos
é
necessário
que
ocorra
mudanças
nas
organizações em três dimensões:
Comportamental
responsabilidade.
-cooperação
mútua,
liderança,
autonomia
e
Capítulo ll - Referencial Teórico
20
Estrutural – redesenhar cargos, grupos de trabalho, normas e procedimentos.
Interfaces - compartilhada em diferentes níveis e não apenas nas
relações com os funcionários.
Em razão de sua importância a IES não pode prescindir do trabalho de
gestores
competentes.
universitária,
destaca
Keller
que
as
(1994)
ao
se
universidades
referir
formam
à
administração
profissionais
e
geralmente são dirigidas por amadores.
Se por um lado à universidade é considerada como uma organização
“atípica” possuindo características tão peculiares que exigem uma teoria
própria e, por esta razão, uma administração específica, por outro lado,
possui característica comum a toda e qualquer organização, a ela se
aplicando os princípios e abordagens da administração em geral.
Destaca Chiavenato (1999) que os novos tempos trazem novos paradigmas
que, por sua vez, exigem novas abordagens administrativas, rejeitando as
velhas abordagens que não mais se aplicam a esta nova realidade. Isto
exige uma tomada de consciência acerca da importância da administração
participativa para a construção e consolidação das instituições.
Existem provas contundentes de que a gestão é um componente decisivo da
eficácia
escolar.
Assim
inúmeros
estudos
no
Brasil
e
no
exterior,
comprovam que escolas bem dirigidas e organizadas são mais eficazes. É
preciso, portanto o compromisso de todos os envolvidos, devido ao conflito
de interesses, exigindo a adoção de uma gestão participativa, afirma Ramos
(1994).
Só a gerência participativa criará compromisso de todos com a qualidade e
a “cultura organizacional” necessária para produzi-la (Mezomo, 1994).
2.4.2 AS IES COMO ORGANIZAÇÃO PRODUTIVA
A teoria organizacional destaca que as organizações possuem como ele-
Capítulo ll - Referencial Teórico
21
mentos essenciais: objetivos, estrutura, processos e pessoas.
As
instituições
de
ensino
superior
possuem
objetivos,
estruturas
organizacionais, utilizam recursos escassos e tecnologia e produzem
serviços
demandados
pela
sociedade
para
cumprir
os
objetivos
organizacionais pretendidos.
Slack (1996) afirma que qualquer organização possui uma função de
produção porque produzem algum tipo de bem e / ou serviço. A IES tem
função de produção com característica muito ‘”sui generis” que precisa ser
considerada, pois tem a responsabilidade de preparar pessoas para serem
responsáveis pela direção social, cultural e produtiva do país.
Segundo Andrad (1993) a IES tem de ser estudada como uma organização
diferente e que as suas características peculiares devem ser levadas em
conta.
Conforme demonstra a figura 2, o ensino superior é associado a um
processo produtivo de transformação, tendo como entrada os fatores de
transformação da produção e como saída os produtos e serviços prestados.
variáveis
legais
variáveis
econômicas
MICROAMBIENTE
Variáveis
políticas
variáveis
culturais
Fatores de produção
(RH, recursos
naturais, etc.)
Processos
de
transformação
entradas
variáveis
Tecnológicas
Impacto do processo
de transformação e
serviço prestado
saídas
variáveis
sociais
Figura 2 - Sistema de Ensino como processo de transformação.
(Adaptação Slack,k 1996).
Capítulo ll - Referencial Teórico
22
Slack (op cit) refere à transformação como a “utilização de recursos para
mudar o estado ou condição de algo para produzir saídas”.As entradas se
classificam em:
Recursos transformados
Aqueles que são tratados, transformados de alguma forma.
Recursos de transformação
Aqueles que agem sobre os recursos transformados.
Neste processo de transformação o aluno assume papéis diferentes: cliente,
produto e agente de transformação conforme Figura 3. Este enfoque
cliente/produto envolve uma análise criteriosa.
Aluno
Cliente/interno
graduado
ingressante
legais
Aluno
Produto em
transformação
Aluno
Agente de
transformação
AMBIENTE INTERNO
Figura 3 - O aluno cliente/produto/agente de transformação
(Adaptação de Slack 1996).
Devido à natureza da produção e do consumo dos serviços, deve ser
considerado que por um lado há necessidade de se “processar” o aluno,
quando visto como recurso transformado, por outro ângulo o conhecimento
e um atendimento de qualidade deve ser colocado à disposição do
aluno/cliente.Entretanto, os clientes não são simplesmente consumidores
passivos, ao mesmo tempo em que consomem serviço, também tomam
parte ativa na produção de serviço, ou seja: agente de transformação.
Capítulo ll - Referencial Teórico
23
Considerado o aluno como cliente, produto e agente de transformação, num
processo de transformação e que uma das missões da Universidade Cidadã
é formar o homem cidadão, esta deve, portanto propiciar que haja uma
gestão participativa, permitindo ao aluno elemento constitutivo de equipe,
participar da avaliação institucional.
Considerando a particularidade das IES, que são unidades de produção de serviços,
torna-se necessário abordar neste trabalho alguns conceitos referentes a serviços.
2.4.3 SERVIÇOS
Estamos na Era dos Serviços, onde uma das tendências mais importantes
do mundo empresarial moderno é a transição de uma economia baseada na
produção para uma economia baseada em serviço.Grönroos (1995) utiliza o
termo “economia de serviços” e afirma que “todo mundo faz parte da
economia de serviços“.
Esse novo enfoque marca um período de transição pelo qual passa a
sociedade. Afirma Grönroos (1995) que esta transição é da mesma
magnitude que a transição para a sociedade industrial de algum tempo
atrás.
Como resultado dessa nova era a qualidade dos serviços torna-se
importante
na
economia
mundial.A
organização
deve
desenvolver
estratégias segmentadas para que sua capacidade de oferecer serviço
corresponda com a expectativa do cliente (Davidow & Uttal,1991) .
Afirma Albrecht (1994) que na “Era dos Serviços”, o serviço não é apenas
alguma coisa sobre que os gestores devem pensar de vez enquanto; ele é a
administração.
Segundo
Albrecht
e
Zemke,citados
por
Lobos(1993)
,a
primeira
característica das organizações de serviço é possuir uma estratégia de
serviços a ser percebida pelos clientes,tendo em vista que estes estão cada
Capítulo ll - Referencial Teórico
vez
mais
exigentes
quanto
a
satisfação
de
suas
24
expectativas
e
necessidades.
Assim neste contexto é importante conhecer as definições de serviço.
Lalonde e Zinszer (1996) definem serviço como um processo que tem por
objetivo “fornecer benefícios significativos de valor agregado à cadeia de
suprimento de maneira eficiente em termos de custos”. Portanto a prestação
de serviços deve identificar e dar prioridade às atividades que contribuem
para que os objetivos sejam alcançados.
A definição ampla de serviço ao cliente deve abranger três dimensões,
conforme afirmam Lalonde e Zinszer (op cit), que são:
a)
Como uma atividade,
b)
Em termos de níveis de desempenho,
c)
Como filosofia de gestão.
Para Horovitz (1993) uma vantagem competitiva não pode ser conquistada
sem uma estratégia de serviço e o cliente deve ser ponto de partida desta
estratégia.
Grönroos (1995) afirma que o serviço acontece durante interações entre
clientes e empregador de serviço e/ou recursos físicos ou bens e/ou
sistemas de fornecedores de serviços.
Serviço é um “ato ou desempenho oferecido por uma parte à outra, sendo
de natureza essencialmente intangível que geralmente não resulta em
propriedade dos fatores de produção”, afirmam Lovelock e Wright (2001).
Para Bessom (1973), os consumidores identificam como serviço qualquer
atividade que proporciona benefícios e satisfação valiosa.
Segundo Kotler (1994) o serviço é qualquer “ato ou desempenho que uma
parte pode oferecer a outra e que seja essencialmente intangível e não
resulte em propriedade de coisa alguma”.
Capítulo ll - Referencial Teórico
25
Serviço é uma atividade de interações de contato com uma pessoa ou com
uma máquina, que gera satisfação ao consumidor, afirma Lehtinen (1983).
Gummesson (1987) numa forma de criticar as tentativas consensuais na
busca da definição de serviço, diz que “serviço é algo que poder ser
comprado e vendido, mas que você não consegue deixar cair no pé”.
Nestes novos tempos em que os serviços formam um elemento fundamental
de que é ofertado ao cliente, este fato demanda novos conhecimentos nos
níveis estratégicos e operacionais e para isso é preciso compreender as
características fundamentais dos serviços. Devido à complexidade do
fenômeno serviço, fica difícil o consenso quanto a sua definição, entretanto,
Grönroos (op cit) observa que existem características comuns à maioria
deles.
De acordo com Slack (1996) as saídas do processo de transformação são
serviços geralmente vistos com características específicas, como por
exemplo:
Intangibilidade
Em geral os serviços constituem uma série de processos
intangíveis (abstratos) e este critério é o mais citado.
Geralmente a percepção de um serviço é subjetiva. Em uma
IES a transmissão do conhecimento exemplifica bem esta
característica.
Simultaneidade de produção e consumo
Esta característica também é chamada inseparabilidade e
diz respeito ao timing da produção. Os serviços são
produzidos
simultaneamente
com
o
consumo,
não
havendo pré-produção da qualidade antes da execução do
serviço. Pode-se citar como exemplo, a aula expositiva ou
a disponibilização de material para pesquisa na biblioteca.
Esta característica reforça a idéia deste aluno como
cliente/produto ou agente de transformação.
Capítulo ll - Referencial Teórico
Contato com o consumidor
No caso dos serviços deve existir um alto nível de
contato com o consumidor.Assim a literatura cita a
expressão “momento da verdade” que é o instante em que
o
cliente
faz
contato
com
os
representantes
da
organização e a partir do qual forma sua opinião sobre a
qualidade do produto/serviço. Assim qualquer contato de
um indivíduo com a organização e que forma alguma
impressão
é
considerado
um
momento
de
verdade
(Casas, 1999). Verifica-se assim que praticamente quase
todos os setores da IES envolvem contato direto com o
aluno.
Qualidade
Na produção de bens, a qualidade é julgada com base nos
próprios bens. Entretanto, nos serviços, o cliente que
participa da operação, não julga apenas seu resultado,
mas também os aspectos de produção. Há de ser
considerado a variabilidade existente na percepção por
parte do cliente, quanto à execução dos serviços.O
atendimento descortez, ríspido ou não confiável, leva o
cliente/aluno considerar de baixa qualidade o serviço do
setor.Como os níveis de exigências são diferentes, pode
haver cliente menos sensível ao consumir e julgar tais
serviços.
O
objeto
principal
da
qualidade
é
tentar
assegurar que o resultado final de um serviço realmente
atenda
as
necessidades
de
seus
clientes.
Se,
por
exemplo, a secretaria da IES for plenamente eficiente na
execução dos serviços e o atendimento for ruim, será
considerada pelo aluno de má qualidade. Portanto a
percepção da qualidade por parte do aluno é importante
no conceito de qualidade. Neste contexto, torna-se difícil
manter a uniformidade na percepção dos serviços quanto
ao padrão de qualidade.
26
Capítulo ll - Referencial Teórico
27
Estocabilidade
Pela característica da intangibilidade, os serviços são
geralmente não estocáveis. Isto indica que o cliente
participa como um recurso da produção. Se na oferta de
25 vagas para uma determinada disciplina eletiva, a
demanda responder apenas com 15 matrículas, ocorrerá
uma perda de 10 vagas, o excesso da capacidade fica
totalmente perdido, porque este serviço não pode ser
estocado.
Transportabilidade
Os serviços por serem intangíveis não são transportáveis.
Neste caso, a aula assistida por um aluno não pode ser
transportada para outro (embora os meios de reproduzí-la
possam existir).
Uma variedade de características tem sido discutida por outros autores
(Grönroos,
Lovelock,
Parasuraman
e
Kotler).
Entretanto
as
mencionadas estão demonstradas na figura a seguir.
Intangível
Heterogêneo
Produção e distribuição são processos
simultâneos
Valor principal está na interação com o
Consumidor
Clientes participam da produção
Não pode ser mantido em estoque
Não transfere propriedade
Figura 4 - Características dos serviços
mais
Capítulo ll - Referencial Teórico
28
O serviço educacional apresenta características intangíveis, de entrega
contínua e de baixa customatização, de acordo com Lovelock (1983).
Se a atualidade está voltada para uma “economia de serviço”, é importante
uma reflexão sobre a qualidade em serviço. A qualidade é um direcionador
que toma sentido quando relacionado ao respectivo valor do objeto em
avaliação.
2.5 - QUALIDADE EM EDUCAÇÃO COM FOCO NA PRESTAÇÃO DE
SERVIÇO
A busca da qualidade, centrada inicialmente na melhoria da produtividade,
passou a ser, com os 14 princípios da Qualidade Total, de Deming, uma
filosofia de natureza sistêmica que invadiu a estrutura empresarial. Basta
observar os princípios de Deming numa classificação que são visualizadas
como:
a) dirigidos à alta cúpula
b) ligados aos sistemas de produção
c) vinculados às políticas ligadas aos recursos humanos.
Segundo
Deming
(1990)
qualidade
é
“atender
continuamente
às
necessidades e expectativas dos clientes a um preço que eles estejam
dispostos a pagar”.
Juran (1990) define qualidade de duas formas: “adequação ao uso” e que o
produto ou o serviço deve estar livre de defeitos ou erros. Para ele, a
administração
de
qualidade
compreende
três
processos
básicos:
planejamento, controle e melhoria – a chamada trilogia de Juran.
Para Crosby (1990) qualidade é conformidade com as especificações. Sua
maior contribuição é levar os gerentes a entender que atingir a qualidade é
mais barato do que não atingí-la. Ele propõe quatro princípios de qualidade:
1. A definição de qualidade é a conformidade com os padrões
Capítulo ll - Referencial Teórico
29
2.O sistema de qualidade é a prevenção
3.O padrão de desempenho é o defeito zero
4.A mensuração da qualidade é o preço da não- conformidade.
Ishikawa (1976) foi o criador de importantes instrumentos de auxílio ao
monitoramento dos processos de controle de qualidade, redefiniu o conceito
de cliente, incluindo neste os clientes internos: são todos que recebem os
resultados do trabalho de outros como insumo para o seu próprio trabalho.
Para ele a “qualidade começa e termina na educação”.
Segundo Belluzzo (1999) qualidade é uma medida de extensão até a qual
uma coisa ou experiência satisfaz uma necessidade, resolve um problema
ou adiciona valor para alguém.
De acordo com Feigenbaum (1998) qualidade significa ser guiado pela
excelência, em vez de ser guiado por defeitos “.
Afirma Casas (1992) que qualidade é a diferença entre o resultado do
serviço e a expectativa do cliente. Se a empresa iguala as expectativas do
cliente há satisfação, se a supera há excelência.
Valeriano (1994) afirma que a definição de âmbito internacional para
qualidade é a “totalidade das características de uma entidade que lhe
confere a capacidade de satisfazer as necessidades explícita e implícita do
cliente”.
De acordo com Garvin (1990) existem cinco abordagens sobre qualidade.
Estas abordagens são descritas a seguir:
Abordagem Transcendental
A abordagem Transcendental trata a qualidade como
sinônimo de excelência absoluta. O melhor possível em
serviço
padrões
reconhecido
de
universalmente
valorização
profissional.
dentro
de
Considera
altos
por
Capítulo ll - Referencial Teórico
30
exemplo que um profissional de “qualidade“ é formado em
Harvard.
Abordagem baseada em manufatura
Essa abordagem conceitua a qualidade como a busca por
melhoria nas técnicas e adequação as normas e às
especificações estabelecidas. Esta definição é similar a
definição de Crosby. Nesse caso a IES deve atender as
especificações do MEC, como por exemplo: número de
livros deve ser proporcional ao número de alunos; o
coordenador acadêmico deve ter no mínimo título de
mestre e carga horária de 40h/a semanais.
Abordagem baseada no usuário
A abordagem baseada no usuário assegura que o serviço
esteja adequado a seu propósito. Essa definição não se
limita
às
conformidades,
com
as
especificações
estabelecidas, mas a adequação desta aos desejos e
necessidades do consumidor. É importante ressaltar que,
neste momento, o aluno é denominado de usuário do
serviço, isto é, a pessoa que efetivamente utilizará os
serviços prestados. Assim, apesar do coordenador possuir
a
titulação
exigida
ao
cargo,
essa
especificação
de
qualidade não garante ao aluno que ele seja um gestor
eficiente e eficaz quanto à condução da coordenação do
curso.
Abordagem baseada em produto
Nesta abordagem a qualidade é um conjunto mensurável e
preciso,
em
que
o
aumento
de
atributos
aumenta
a
qualidade. Neste caso pode-se considerar que um curso que
oferece
atividades
complementares,
visitas
técnicas,
laboratórios, etc., agrega diferenciais ao serviço prestado e
aumenta assim a qualidade.
Capítulo ll - Referencial Teórico
31
Abordagem baseada em valor
Define qualidade como um valor mensurável, em termos
de custo (não necessariamente financeiro) e benefícios.
Assim
leva-se
em
consideração
o
conforto
físico,
segurança, valor psicológico, etc. Uma sala de aula que
tenha ar condicionado oferece mais conforto.
Considerando essas abordagens, o modelo que mais se adapta a essa
dissertação é a que tem enfoque no usuário.
Não faz sentido falar em qualidade e serviço como se não houvesse
interação entre eles. Em uma gestão participativa entende-se qualidade
como o aperfeiçoamento contínuo dos processos que envolvem a confecção
de um produto ou a prestação de um serviço e igualmente a participação
responsável e sinergética de todos os agentes implicados de alguma forma
no processo.
2.5.1 QUALIDADE DE SERVIÇO
A qualidade é importante para o desempenho de qualquer organização,
devendo garantir que os bens e serviços prestados sejam de qualidade para
os consumidores internos e externos.
A qualidade é objeto de título da família de normas ISO 9000, que aponta
para a necessidade de aplicar qualidade através de processos. A ISO (The
International Organization for Standardization) é uma federação de ordem
mundial que desenvolve padrões. Esse sistema contém um conjunto de
normas referentes à administração da qualidade enumeradas de 9000 a
9004 (Martins e Laugeni, 1999).
A ISO 9004 consiste em “Administração da qualidade – elementos do
sistema de qualidade”, salientando a importância do indivíduo e sua relação
social para que se obtenha qualidade, como por exemplo:
Parte 2 – Guia de serviços
Capítulo ll - Referencial Teórico
32
Parte 3 – Guia para material e serviço
Parte 4 – Guia para Administração de melhoria de qualidade
Constata-se a importância do assunto e a existência de um guia para o
desenvolvimento das empresas, devido à necessidade e reconhecimento
cada vez mais da qualidade dos serviços e satisfação do cliente. (Casas,
1999).
O objetivo não é levar as instituições a obterem certificações, mas a
qualidade de padrões internacionais pode ser utilizada para alcançar a
satisfação dos clientes.
A qualidade do serviço está diretamente associada ao grau de satisfação
das pessoas, ou seja, não se pode falar em serviço sem se falar em cliente
(Martins e Laugeni, op cit). O cliente não só inclui os de fora, como também
os clientes internos, que interagem com outros na organização. Assim é
essencial que se faça a identificação dos clientes para que se identifique o
serviço desejado.
De acordo com Lobos (1993), define-se qualidade em serviços como
“antecipar, atender e exercer continuamente os requisitos e as expectativas
dos clientes”.
E, segundo análise do referido autor, a qualidade de um
serviço está relacionada a três fatores:
Desempenho: que é a razão do serviço em si;
Atendimento: são os aspectos referentes ao ato da prestação
de serviço ;
Custo: quanto é pago pelo serviço
Segundo Albrecht (1994) serviços se baseia em três características
compostas por: uma Estratégia de serviços bem concebida; Sistemas
considerados amistosos pelos seus usuários; e Gente voltada para a
satisfação cliente. Lobo (1993) acredita que faltou considerar ainda uma
Capítulo ll - Referencial Teórico
33
quarta característica: a Estrutura de apoio, técnico e administrativo, capaz
de suportar os três anteriores.
Barbosa e outros (1995) definem qualidade total em serviço como a “busca
constante no atendimento das necessidades de pessoas”.
Assim Qualidade Total dos Serviços (QTS), apresenta quatro características
básicas:
1 -É voltada para o cliente
2 -Tem o compromisso do gestor
3 -Conta com o envolvimento de todos
4 -Compreende a melhoria contínua (Slack e outros 1995).
Para estar voltada para o aluno a qualidade deve levar em conta não só as
sua
aspirações,
mas
a
possibilidade
de
levá-lo
a
alcançar
o
desenvolvimento do pleno ser humano.
Na operação da IES o ciclo de PDCA (Planejar, Agir, Checar e Avaliar) deve
ser considerado para o controle da qualidade voltada para a melhoria do
serviço (Xavier, 1996).
Para Lovelock e Wright (2001), a qualidade de serviço é essencial à
diferenciação do produto e responsável pelo aumento da fidelidade do
cliente (o grau em que um serviço atende as necessidades, desejos e
expectativas do cliente).
De acordo com Parasuraman et al. (1985) apud Mello et al (2002) a
qualidade em serviços, surgiu após a preocupação com o aprimoramento da
qualidade dos produtos. Segundo Bandeira et al. (1999) os serviços podem
ser considerados “produtos especiais”.
Para se avaliar a qualidade de serviço de uma empresa, segundo Berry e
Parasuraman (1992) existem cinco dimensões amplas que são usadas como
Capítulo ll - Referencial Teórico
34
críticas no julgamento dos clientes quanto à qualidade dos serviços
prestados:
Confiabilidade
Para sustentar a qualidade é importante fornecer o que
foi prometido de forma segura e precisa.Confiança é um
componente
essencial
que
o
aluno/cliente
deseja
receber.
Tangibilidade
Os
aspectos
serviços
físicos
também
influência,
neste
que
têm
circulam a
importância
sentido
tem-se
atividade
como
a
de
fator
de
instalação,
os
equipamentos e a aparência dos funcionários.
Sensibilidade
Esta característica está relacionada à disposição do
prestador de serviço em
ser prestativo e atender com
rapidez.
Segurança
A habilidade de transmitir segurança caracteriza-se pela
Informação,
cortesia
e
competência
em
relação
à
prestação do serviço.
Empatia
O prestador de serviços deve tratar o cliente com
atenção cuidadosa
e personalizada tendo em vista que
um cliente não é igual ao outro.Os serviços devem ser
oferecidos com presteza.
Essas dimensões não são totalmente independentes uma das outras, mas
abrangem o que os clientes esperam na prestação de serviço.O
que os
clientes recebem em suas interações com a empresa é claramente
importante para eles e para a avaliação da qualidade.
Capítulo ll - Referencial Teórico
35
A Qualidade Total nasceu na indústria, mas se estende hoje para a área de
serviço. O ensino superior tem sido reconhecido como uma indústria de
serviços, portanto deve atender as expectativas e necessidades dos clientes
(Cheng e Tam, 1997).
A qualidade tem por objetivo aprimorar os processos de tal forma que as
necessidades
humanas
sejam
atendidas
mais
rapidamente,
mais
economicamente e de forma melhor e mais simples.
A qualidade de uma universidade, como no caso de qualquer organização
que depende da atuação conjunta de muitas pessoas e com objetivos
diversos, é um conceito político e com muitas dimensões.
Restringir a conceituação da qualidade ao seu aspecto acadêmicopedagógico,
ou
mais
freqüentemente
ao
seu
aspecto
político,
tem
constituído grave equívoco. O que confere a característica de totalidade à
qualidade
da
educação
é
o
atendimento
às
seis
dimensões
simultaneamente: administração intrínseca, custo, atendimento, segurança,
moral e ética.
O controle de qualidade deve ser exercido por todas as pessoas da
instituição, assim sendo ter-se-á uma estrutura participativa de trabalho
onde cada membro da comunidade acadêmica deve participar da avaliação
dos serviços.
Demo (1994) afirma que a qualidade tem como condição básica o processo
de construção coletiva, que consiste na competência do “sujeito em termos
de se fazer e de fazer história”. Para ele a verdadeira qualidade do projeto
educacional está na compatibilidade entre a qualidade formal que tem como
meio a técnica e a qualidade política que tem como fim à ética, conforme
analisa Demo. Os efeitos dessa opção integralizadora ao longo dos tempos
farão sentido e emprestará significado inequívoco à missão institucional,
obra em construção permanente. Segundo Demo (1994) conhecimento sem
Capítulo ll - Referencial Teórico
qualidade
política
perde
a
noção
ética
e
serve
a
36
qualquer
ideologia.Ideologia sem conhecimento inculca a ignorância.
A qualidade formal e política levam a:
a) Melhoramento da organização produtiva.
b) Melhoramento dos produtos, estabelecendo a competitividade.
c) Satisfação dos envolvidos no processo.
Dessa forma Demo (op. cit) afirma ainda que “Educação tem sido o termoresumo para designar qualidade, por uma série de razões”:
Como instrumento, sinaliza, a construção do conhecimento
e, como fim, a preocupação em torno da humanização da
realidade e da vida.
Ligada à construção do conhecimento, impacta de modo
decisivo tanto na cidadania quanto à competitividade.
Principalmente, estando na base da formação do sujeito
histórico crítico e criativo perfaz a estratégia mais decisiva de
fazer oportunidade.
A universidade deve ter tanta qualidade que por si só defina o próprio
conceito de qualidade (Cristóvan Buarque, 1997).
Dessa forma, a avaliação institucional se justifica pelos objetivos que
reafirma e que não podem ser examinados de forma massificada na medida
em que a homogeneização das instituições põe a perder a riqueza da sua
diversidade.Nesse sentido, a avaliação que se impõe como exigência legal
às instituições para a manutenção do sistema de ensino superior pode e
deve ser concebida, praticada e interpretada a partir de novos olhares, pois
qualidade implica consciência crítica, capacidade para saber mudar.
A avaliação institucional se refere à qualidade como algo que deve ser
Capítulo ll - Referencial Teórico
37
julgado valorativamente num determinado momento, tendo como fim à
melhoria contínua.
2.5.2 MEDIDAS DA QUALIDADE DO SERVIÇO NA IES
Nos últimos anos, o planejamento educacional tem privilegiado este grande
tema de investigação: a qualidade do ensino. Embora as discussões não
sejam recentes, foi somente a partir dos anos 90 que adquiriram uma
dimensão de relevo.
A experiência tem demonstrado que uma educação de qualidade não pode
ser obtida em sistemas educacionais e escolas envoltos em burocracias
lentas e centralizadoras, preocupados excessivamente com normas e
regulamentos e com uma estrutura hierárquica que não lhes confere
agilidade na solução dos problemas.
A qualidade deve ser definida como o grau de adequação entre as
expectativas do cliente (aluno, sociedade e governo) e a percepção dele em
relação ao serviço, foi feita uma adaptação a IES conforme a figura 5, de
acordo com Slack (op cit).
Expectativa do aluno
relativa aos serviços
Percepção do aluno
Qualidade
percebida
relativa aos serviços
Figura 5 - Percepção da qualidade pelo aluno é considerada aceitável
(adaptação do Slack, 1996).
A qualidade percebida pelo cliente é o resultado da avaliação do que foi
esperado e do que foi experimentado, levando em consideração a imagem
da organização (Grönroos,op cit).
Capítulo ll - Referencial Teórico
38
A figura 6 demonstra que, se as expectativas dos alunos são menores que
as percepções, a qualidade percebida é considerada boa, ou seja, o
aluno/cliente percebe a entrega efetiva do serviço melhor do que o esperado
fica contente e considera a qualidade boa. Porém, se as expectativas dos
alunos se igualam às percepções a qualidade é considerada aceitável.
Lacuna
Expectativa do
aluno relativa aos
serviços
Qualidade
percebida
Percepção do
aluno relativa
aos Serviços
Figura 6 - Percepção da qualidade pelo aluno é julgada boa
(adaptação do Slack, 1996).
Assim, a qualidade é julgada de acordo com o grau de satisfação com o
serviço, ou seja, de acordo com o tamanho e a direção da lacuna entre as
expectativas e a percepção do serviço (Slack, op cit).
Conforme a figura 7, se as expectativas dos alunos são maiores que as
percepções, a qualidade percebida é pobre.
LACUNA
Expectativa do
aluno relativa
aos serviços
Qualidade
percebida
Percepção do
aluno relativa
aos serviços
Figura 7 – Percepção da qualidade pelo aluno é julgada pobre
(adaptação do Slack, 1996).
Capítulo ll - Referencial Teórico
39
Essas expectativas são consideradas como um conjunto de características
de qualidade, “somente quando os clientes ficam satisfeitos é que o trabalho
pode ser considerado bem executado“ (Gummesson,1987) .
Para Mirshawaka (1993) a satisfação é igual à diferença entre a percepção
que se tem sobre o serviço recebido e a expectativa do que pensa que
deveria receber.
Para que um serviço apresente elementos de qualidade devem ser
removidas as divergências que existem dentro da organização e entre a
organização e o cliente. Tem qualidade àquele que consegue fornecer
produtos e serviços sem falhas (Fidalgo1994).
Essas divergências ou lacunas (gaps) entre o serviço esperado e o serviço
experimentado são descritas em modelos destinados para análise dos
problemas de qualidade e compreensão de como podem ser melhorados,
como por exemplo: modelo de análise do gap da qualidade, por Zeithaml,
Parasuraman e Berry (1990) e o modelo da qualidade de GrönroosGummesson (1998).
Existem alguns princípios da qualidade e, dentre eles, o mais importante é a
total satisfação dos clientes / usuários / cidadãos que usufruem o produto
ou do serviço, no caso de uma organização. Albrecht e Bradford (1990)
confirmam este princípio ao afirmarem que um dos fatores essenciais para a
sobrevivência da empresa é a qualidade no atendimento aos clientes,assim
é preciso identificar e entender as necessidades dos mesmos.
O sucesso da organização está relacionado à importância quanto a
satisfação do cliente, para isso é necessário dar vez e voz ao mesmo,
segundo Mirshawka (1993). Este também é o pensamento de Tebout (1991).
A satisfação do cliente se o serviço e os resultados da instituição atendem
ou não as suas necessidades e expectativas.
Capítulo ll - Referencial Teórico
40
As instituições não podem continuar ignorando os clientes e desperdiçando
recursos.A figura 8 apresenta alguns benefícios da satisfação do cliente
para a organização.
Isola os clientes da
Isola os clientes da
concorrência
Encoraja clientela a
Encoraja clientela a
constante fidelidade
constante fidelidade
concorrência
Satisfação do
Cliente
Pode criar vantagem
Pode
criar vantagem
sustentável
sustentável
Reduz os custos de falha
Reduz os custos de falhas
(qualidade do
Serviço)
Amplia/ promove o
Amplia /promove o
boca boca positivo
boca a boca positivo
Reduz custos de atração
custos
de atração
deReduz
novos
clientes.
de novos clientes
Figura 8 - Benefícios da satisfação do cliente e qualidade do serviço.
Fonte: Lovelock C.H, 1998.
Lapa e Neiva (1996) classificam os critérios de avaliação em dois grandes
grupos: os ligados à idéia de desempenho (considerando produtividade,
eficácia e efetividade) e aqueles ligados à idéia de qualidade (utilidade e
relevância).
“(...) A qualidade, considerada do ponto de vista da
utilidade ou da relevância é conceito associado a visões
relacionadas de intenção ou satisfação” (Lapa e Neiva,
1996).
Freitas e Costa (1998) também estabelecem uma associação entre o grau
de qualidade na prestação de serviço como grau de satisfação do cliente.
Tecidas essas considerações, verifica-se que a avaliação é um instrumento
Capítulo ll - Referencial Teórico
41
essencial para medir satisfação, detectar deficiências, pontos fortes e fracos
e oportunidades e ameaças.
2.6- AVALIAÇÃO INSTITUCIONAL
Para Guba e Lincoln in Firme (1994) o quadro de evolução conceitual da
avaliação pode ser estabelecida em quatro gerações, a saber:
• Geração associada à mensuração – Nesta fase não havia
distinção
entre
avaliação
e
medida.
O
avaliador
era
eminentemente técnico na classificação, utilizava instrumentos
da pesquisa adequados à mensuração dos fenômenos a serem
observados.
• Geração de descrição – A segunda geração surgiu em busca
de melhor entendimento do objeto de avaliação. Esta geração
dos anos trinta e quarenta principalmente buscava descrever o
que seria sucesso ou dificuldade com relação aos objetivos
estabelecidos. O avaliador estava preocupado em descrever
padrões e critérios.
•
Geração de julgamento -Não bastava medir e descrever
padrões,
era
preciso
fazer
julgamentos
sobre
todas
as
dimensões do objeto. O papel do avaliador era de juiz.
•
Geração da negociação - Esta geração emerge da década de
noventa, que considera a avaliação enquanto processo de
negociação entre os atores envolvidos no objeto a ser
avaliado, na busca constante do consenso.”Nessa perspectiva,
quanto maior a participação na escolha das preocupações nas
questões avaliativas, dos métodos e na interpretação dos
resultados, maior é o nível de negociações e mais aguçada é a
capacidade de responder aos interessados no processo ao
objeto da avaliação”.
Capítulo ll - Referencial Teórico
42
Neste sentido, desde os anos 1950 a avaliação vem sendo praticada de
forma cada vez mais sistematizada, sobretudo na área administrativa,
permitindo afirmar que a avaliação se consolidou como objeto de um campo
científico, definitivamente.
Assinalam Jacobsen (1996) e Afonso (2000) que a teoria da prática de
avaliação emergiu somente nos anos 1980, com projetos desenvolvidos
pelas próprias universidades que tem como objetivo a melhoria da
instituição, consagrando o termo avaliação institucional em oposição aquela
de
distribuição
conhecimentos
de
recursos
em
e
formulação
administração
remete
política,
às
acumulação
possibilidades
de
de
desenvolvimento da avaliação, porém, nenhum campo de conhecimento se
desenvolve
sem
ser
impulsionado
por
necessidades
socialmente
determinadas.
Com o advento da Gestão pela Qualidade Total a avaliação passou a ser
vista como um meio para se determinar o valor ou mérito do objeto avaliado,
pois é, sem dúvida, um meio para se apreender a realidade, o que induz a
uma pertinente discussão epistemológica.Desta forma, parte da avaliação
baseia-se na percepção que alguns dos atores têm da realidade da qual
participam e esta percepção não deve ser tomada como verdade absoluta,
mas como uma das aproximações sucessivas, através das quais o
conhecimento é construído.
Segundo Durham (1992), em 1985 a Comissão Nacional de Reformulação
do Ensino Superior propôs a autonomia plena das universidades brasileiras,
mas
acompanhada
de
um
sistema
permanente
de
avaliação
e
acompanhamento do seu desempenho.
Surge então o Programa de Avaliação Institucional da Universidade
Brasileira -PAIUB, um programa governamental de financiamento de
projetos de avaliação institucional, em cujo documento são estabelecidos os
princípios
e
objetivos
da
avaliação
brasileiras (MEC/ PAIUB, l994).
institucional
das
universidades
Capítulo ll - Referencial Teórico
A temática da
avaliação
até
então era polêmica nas
43
comunidades
acadêmicas
2.6.1 AVALIAÇÃO: DEFINIÇÕES
Para melhor compreensão é necessário estabelecer uma distinção entre
avaliação educacional e avaliação institucional. Belloni (1998) afirma que a
primeira está centrada na aprendizagem, no desempenho escolar, nos
programas ou nos currículos,enquanto a avaliação institucional tem
nas
foco
instituições , sistemas projetos ou políticas .
O tema deste trabalho está centrado na avaliação institucional, que só
recentemente vem sendo alvo de pesquisa, tendo em vista uma nova visão
de avaliação. A respeito da literatura e da prática na área, Belloni (op cit)
constata “certa fluidez conceitual e metodológica (...) assim como freqüente
escassez de critérios”.
A avaliação institucional não tem sido mais vista somente como um
instrumento de controle burocrático, segundo Gadotti (1998) “ela está sendo
institucionalizada como um processo necessário da administração do
ensino, com condição para a melhoria do ensino e da pesquisa e como
exigência da democratização”.
Segundo Jacobsen (1996), avaliar significa, levantar informações relevantes
e aplicar a elas padrões que determinem seu valor, qualidade, utilidade,
efetividade ou significância. Este processo conduz a recomendações, tendo
como finalidade otimizar o objeto de avaliação, segundo os propósitos
inicialmente desejados.
A avaliação não é um procedimento único que se restrinja a um momento no
tempo ou a um exame. Trata-se, ao contrário, de um processo complexo,
diferenciado, permanente e sujeito a um contínuo aperfeiçoamento, que se
dá em diferentes níveis e através de diversas agências e instâncias, muitas
devem ser as portas e aberturas de acesso a ela.
O objetivo é o de
incentivar a melhoria da qualidade do ensino, a ampliação do atendimento à
população, o desenvolvimento da pesquisa e da extensão e a contínua
Capítulo ll - Referencial Teórico
44
informação objetiva, para toda a sociedade, da situação do sistema de
ensino superior.
A avaliação, de certo modo, é uma questão econômica e social. “É a
economia, com seus constrangimentos em matéria orçamentária, que levou
o conjunto do setor social a se interessar pela avaliação de seus resultados
e de suas práticas” (Le Poultier, 1987, apud Guingouain, 1999).
Do ponto de vista social, a necessidade da avaliação dificilmente pode ser
contestada, embora muitas avaliações freqüentemente não sejam aceitas.
As crises das relações entre universidade, Estado e mercado e as
conseqüentes crises internas tornam inevitável a avaliação institucional,
como instrumento considerado hoje irrecusável, por distintas razões. Por
isso que a década de 90 foi chamada a década da avaliação.
A avaliação como um instrumento de gestão é o conceito apresentado por
Meyer (2000), que mensura os esforços da organização, sua excelência,
utilidade e relevância. Complementa Machado (1994) que a avaliação é um
exame da efetividade da Instituição.
A
avaliação
institucional
deve
representar
um
processo
de
busca
permanente de indicadores para o desenvolvimento institucional, em todos
os níveis de atuação e deve contar com a participação, direta ou indireta,
dos envolvidos nas diversas dimensões avaliadas. Não há, evidentemente,
uma concepção única de avaliação institucional, mesmo porque são muitas
e contraditórias as concepções de educação, de universidade e de
sociedade.
É importante desde já insistir na idéia de que uma avaliação, qualquer que
seja, sempre se produz num espaço social de valores já existente, mas que
ela também ajuda a transformar. A avaliação não é nada neutra. As
principais disputas sobre a avaliação institucional não são essencialmente
querelas sobre aspectos técnicos; mais propriamente, neste caso, são
Capítulo ll - Referencial Teórico
45
concepções sobre a educação superior e sobre a sociedade que, no fundo,
estão em questão.
Para Belloni (1999) a avaliação é um processo sistemático e contínuo de
busca de subsídios para a melhoria, e aperfeiçoamento da qualidade da
instituição.
House (1994) afirma que a avaliação é “uma atividade afetada por forças
políticas e que tem efeitos políticos”.
E como acontece com os juízos de valor, carregado de significação política,
portanto, portadores de possibilidades de transformação, como é sempre o
caso da educação, é a construção do futuro o foco principal da disputa. E
também não é difícil entender que a questão da titularidade da avaliação se
insinue como um nó górdio dos confrontos. Mas aqui também é necessário
cautela e bom-senso, pois a avaliação é um “balanço institucional” diz
Lapassade (1971).
Afirma também Requenera (1995) que a avaliação institucional é um
“processo descritivo sistemático e rigoroso, com um enfoque global ou
holístico, permanente, integrado, compreensivo, que propicia a melhora da
instituição educativa”.
Se há uma comunidade a quem foi delegada a responsabilidade de construir
a universidade, através de um conjunto amplo de atividades cotidianas, e se
essa comunidade em função de sua formação e das competências
adquiridas
em
suas
práticas
é
normalmente
a
mais
capacitada
a
compreender e valorar a instituição em que trabalha, o que certamente lhe
atribui prerrogativas de titularidade, isso não deve significar que venha a ter
posse exclusiva de um mecanismo que é
primordialmente de amplo
interesse social. Ainda uma vez se deve propor a superação de eventuais
maniqueísmos, mesmo reconhecendo que eles muitas vezes existem
(Sobrinho, 2002).
Capítulo ll - Referencial Teórico
46
Bordenave (l983) afirma que participar “é fazer parte, tomar parte ou ter
parte
(...)
não
é
o
quanto
se
toma
parte,
mas
como
se
toma
parte”.Coerentemente Abramowicz (1994) afirma que a avaliação está
relacionada com a participação, entendida como processo ativo, crítico,
criativo, conjunto, solidário e transformador “.
A qualidada na universidade pode e deve ser mensurada através da
avaliação institucional afirma (Palharini, 1996).
Afirma Sobrinho (2002) que a avaliação é “plurirreferencial” porque
apresenta uma multiplicidade de significados e sentidos conforme os valores
que defende, a base que fundamenta, a função que pretende obter e de
acordo com os destinatários que deseja atingir.
A avaliação institucional deve ter os seguintes princípios e características,
aponta Ristoff (1996);
•
Globalidade (ser integradora, participativa).
•
Respeito à identidade institucional
•
Não punição e não premiação
•
Adesão voluntária
•
Legitimidade
•
Continuidade
2.6.2 NECESSIDADE E IMPORTÂNCIA DA AVALIAÇÃO
Antigamente, os dirigentes educacionais pensavam que as melhores
universidades e funcionários eram aqueles que seguiam o modelo de
Administração Clássica:
Ênfase na obediência cega às regras;
Cumprimento taxativo dos regulamentos.
Os pressupostos desse modelo de administração possuem uma visão
mecânica, fragmentada, linear e superada de ver o mundo.
Capítulo ll - Referencial Teórico
47
Atualmente os pressupostos norteadores da administração levam a marca
de um novo paradigma, apontando para a necessidade de um movimento de
um pólo limitado para um outro mais abrangente, ou seja, da ótica
fragmentada e dicotomizada para a ótica globalizadora.
Da limitação do âmbito da responsabilidade para a sua expansão. Quando
os membros de uma organização concentram-se apenas em sua função,
eles não se sentem responsáveis pelos resultados, desconsiderando que as
funções devem atuar em conjunto.
Da ação episódica para o processo contínuo. Superação da tendência de
agir episodicamente de modo centrado em eventos, em casuísmos, o que
promove a construção de rotinas vazias da possibilidade de superação das
dificuldades do cotidiano.
Da hierarquização e burocratização para a coordenação participativa.
Necessidade de se compreender a complexidade do trabalho e de se
perceber a importância da contribuição individual e da organização coletiva
para sua melhor realização e eficácia.
Sustentam González e Ayarza (1994), a importância e a necessidade da
avaliação não deveriam estar resumidas na questão econômica e dos
recursos, nem deveriam estar determinadas pelas relações entre o Estado e
a universidade, nem só diz respeito à garantia de qualidade e de seriedade
que as instituições devem dar à população. “É tudo isso, dizem eles, porém
também é uma estratégia que o próprio mundo acadêmico gerou para
promover sua atualização e fortalecer o desenvolvimento”.
Toda avaliação é um processo para estimular ou julgar o valor, a
excelência, as qualidades ou o status de algum processo ou pessoa.
Informações, feedback sobre desempenho e responsabilidade são três
Capítulo ll - Referencial Teórico
48
fatores associados à avaliação de desempenho e que na universidade deve
ser contínua e ter natureza pedagógica, voltada para a orientação da
melhoria contínua do desempenho profissional coletivamente organizada.
Deve-se, entretanto, procurar superar a concepção autoritária e burocrática
de avaliação do desempenho para que esse processo não seja visto como
ameaçador e com um enorme potencial primitivo, o que gera muita
ansiedade na comunidade acadêmica.A avaliação institucional tem como
princípio uma visão pró-ativa, orientada para o feedback e a melhoria do
desempenho da IES.
Houve, no país, a implementação de programas de controle de resultados
da performance de alunos e instituições em todos os níveis:
•
Sistema de avaliação do ensino básico – SAEB;
•
Exame nacional do ensino médio – ENEM;
•
Exame nacional de cursos – ENC.
Luckesi (1996) advoga pela mudança da ênfase na função da avaliação de
extremamente classificatória e somativa para a função diagnóstica.
A
avaliação
deve
objetivar
a
melhoria
contínua,
entretanto
fica
compreensível, que estes programas foram elaborados em termos de
“aferição de resultados” (Sobrinho 2002).
O Exame Nacional de Cursos, assim como o SAEB e o ENEM, atuam em
uma perspectiva uniformizadora, com os curso de graduação e instituições
sendo avaliados a partir de indicadores que não aprofundam nas condições
internas de funcionamento nem no contexto.
Duas tendências opostas balizam o debate na área: uma que tem por finali-
Capítulo ll - Referencial Teórico
49
dade básica a regulação e o controle concentrado em instrumentos
estandardizados e, outra, voltada para a emancipação por meio de
mecanismos e processos avaliativos que promovam a compreensão e o
desenvolvimento
institucional.
A
primeira
abordagem
assume
várias
tipologias, como avaliação centralizadora, funcional. A segunda recebe
fundamentalmente as designações de avaliação formativa, participativa,
comprometida com os desafios de um novo tempo.
Há um consenso quanto ao entendimento de que a Universidade deve
avançar e assenhorear-se da avaliação, conforme Sobrinho (1996) e Ristoff
(1996).
A avaliação pode ser instrumento de emancipação e/ou regulação; essa é
uma de suas complexidades. Não há um modelo único de avaliação, uma só
concepção, uma só prática.
No
esquema
seguinte
visualizamos
a
relação
entre
os
conceitos
desenvolvidos na análise dos modelos de regulação e democrático.
REGULAÇÃO
1. Interesse técnico
2. Racionalidade instrumental
3. Enfoque quantitativo
4 Indicadores de rendimento
5. Avaliação com critério punitivo
e de controle
6. Processos baseados em uma
ética competitiva
7. Avaliação “retroativa” e pontual
DEMOCRÁTICO
1. Interesse emancipatório
2. Racionalidade valorativa
3. Enfoques quanti/qualitativos
4. Indicadores de qualidade
5. Avaliação como aperfeiçoamento
e transformação
6. Processos baseados na colaboração
e participação
7. Avaliação “pró-ativa” e permanente
Quadro 2 - Modelos de Avaliação de Qualidade de Educação Superior.
Fonte: Sobrinho e Ristoff (2002).
Na verdade, a avaliação da educação exige que se combinem vários
enfoques, metodologias, instrumentos e estratégias, de modo particular uma
Capítulo ll - Referencial Teórico
50
adequada intercomunicação entre os métodos quantitativos e qualitativos.
“Como tudo o que é humano está mergulhado em
valores, tudo o que é social, e este é o caso da
educação, tem necessariamente um sentido político;
a avaliação deve ser vista como uma questão
também pública, não só técnica, e de amplas
conseqüências na e para a sociedade” (Sobrinho,
2002).
Para Sobrinho (2002) é possível fazer com que a avaliação também priorize
o sujeito, a formação, a subjetividade, oferecendo condições para uma
participação mais crítica do processo.
Nenhuma avaliação é destituída de interesses. A avaliação se dirige a
destinatários específicos e com temas concretos e contextualizados. Assim
pode-se caracterizar duas matrizes de avaliação quanto à origem: externa
(hetero-avaliação) e interna (auto-avaliação).
A avaliação institucional é constituída de várias etapas e todas cumprem
funções específicas e importantes, mas é a articulação entre elas que reside
sua força maior. Este trabalho foi pautado na avaliação interna baseada na
representação estudantil enquanto “cliente” interno da IES. A satisfação
destes clientes constitui um dos critérios básicos de aferição da qualidade.
Assim como a qualidade é a tônica do momento, também o é a avaliação
institucional. Vale a pena contestar e desafiar linearidade, conjugando os
dados da avaliação externa com os da avaliação interna, a fim de entabular
os
dados
quantitativos
e
qualitativos
numa
leitura
dinâmica
e
contextualizada, pois “a questão da avaliação sugere para a instituição,
antes de tudo, autonomia; autonomia pressupõe qualidade; e qualidade é
condição da Universidade” (Both, 1998).
Capítulo ll - Referencial Teórico
51
Não se pode fazer avaliação institucional por parâmetro de um modelo
padrão ideal. Para Wolynec (1992), a avaliação institucional encontra-se
estabelecida e aceita nas universidades do país, onde não se discute, mais
se deve ser realizada, mas, sim, como deve se processar a avaliação.
Goldemberg (1993) ao falar da necessidade e importância da avaliação das
universidades comenta:
“A avaliação institucional deve ser defendida por duas razões
básicas: porque é instrumento necessário para promover a
melhoria do ensino e porque é uma exigência de uma
sociedade democrática, na qual as instituições precisam
prestar contas à sociedade do uso que fazem, dos recursos
que recebem e do seu desempenho”.
Segundo Bordignom (1995) a avaliação institucional assume importância
quando se volta para os objetivos que se fundamentam nos seguintes
pressupostos:
•
A avaliação deve ser considerada um processo crítico e
dialógico que se opera através da negociação entre
atores, dando espaço para a “pluralidade de vozes”
•
Deve buscar atribuir valores a meios e processos (não a
pessoas) e não se constituir em tribunal de julgamento.
•
Deve alcançar objetivo institucional - a qualidade do
ensino e a Educação cidadã.
•
Fazer frente a um referencial de qualidade.
•
Cumprir função diagnóstica.
Capítulo ll - Referencial Teórico
52
Promover mudanças na realidade - processo decisório.
Diante desses pressupostos a avaliação deve ser baseada em critérios que
respeitem
a
autonomia
das
universidades,
a
diversidade
e
a
heterogeneidade que caracterizam as instituições, levando em consideração
as suas especificidades.
Não se pode negar a importância das avaliações institucionais, bem como a
revisão
permanente
dos
seus
critérios,
modelos,
instrumentos
e
apresentação de resultados.
Quando se aborda a questão avaliação institucional há um consenso que ela
seja processual, diagnóstica, continuada e emancipatória, buscando a
autonomia dos sujeitos no ato de conhecer.
2.7 FORMAS DE AVALIAÇÃO
De acordo com Afonso (2000), existem diversas modalidades de avaliação,
segundo os propósitos a alcançar.
Segundo Bastos
e Swyter (1974) os conceitos de avaliação estão
relacionados a normas e a critérios.
Nas situações relativas as IES, tal como em outras situações de avaliação,
encontram-se dois quadros de referências alternativas, que costumam ser
designados por:
Quadro de referência normativa
A avaliação por normas impõe a IES o conceito de excelência, a
valorização das melhores, tomados no sentido de serem as mais capazes de
demonstrar competências, e, por conseqüência, a identificação dos piores.
Capítulo ll - Referencial Teórico
Os
resultados
apresentados
de
em
uma
termos
avaliação
ordinais,
por
normas
organizados
53
freqüentemente
hierarquicamente
são
as
posições como, por exemplo, acontecem com as instituições no ENC, no
Brasil.
Por operar comparações, a avaliação normativa é o tipo de avaliação mais
identificada com os interesses do mercado e atende a parte referente ao controle do
Estado (Afonso, 2000).
Assim, essa avaliação é um instrumento de grande seletividade social e de
forte elitização, afirma Sobrinho (2002).
Quadro de referência criterial
A avaliação criterial ou por critérios tem caráter mais formativo que seletivo,
pois existe em função da comparação da IES consigo mesma, com bases
em critérios previamente definidos, o que, de acordo com Afonso (2000),
coloca esta modalidade de avaliação como facilitadora de diagnóstico,
permitindo a IES ação para superar dificuldades, o que certamente contribui
para o aperfeiçoamento dos sistemas conhecidos com os quais lidamos em
nossa realidade.
É mister ressaltar que tanto a avaliação normativa quanto à avaliação
criterial podem introduzir efeitos de mercado no sistema educativo, o que
torna ambos os tipos de avaliação relevantes, exigindo sua utilização de
forma cuidadosa e transparente.
Em consonância com o pensamento de Mara Desordi (s.d.), pode-se
sintetizar que a avaliação deve pautar-se pelos seguintes critérios:
•
Leveza, entendida como característica fundamental para instalar o
debate com a comunidade, como componente que assegura a
flexibilidade na reinterpretação da lei de modo a maximizar seus
avanços e atenuar os retrocessos eventualmente invisibilizados e
Capítulo ll - Referencial Teórico
54
que dá suporte para a interpretação dos dados, favorecendo as
rupturas com o instituído e as mudanças paradigmáticas. Leveza
para
conduzir
o
processo
de
modo
pro-ativo,
buscando
a
emancipação dos sujeitos envolvidos pelo respeito à autonomia da
instituição para definir sua missão. Leveza para enfrentar as tensões
inerentes a todo processo avaliativo, em especial aqueles regidos
pela
competitividade
e
pelo
alto
grau
de
comparação
interinstitucional.
•
Visibilidade, entendida como a explicitação do que se pretende com
a avaliação, os micro e macro-objetivos que se buscam ratificar.
Considera-se o
imperativo ético que a avaliação possa evidenciar
as lógicas que orientem as opções em todos os níveis: do interno ao
externo.
•
Multiplicidade, entendida como o reconhecimento da avaliação
como fenômeno multifacetado, polissêmico, plural. Daí deriva a
aceitação da avaliação como conceito carregado de ambigüidades,
sujeito a múltiplas significações, fruto de encontros e desencontros
em que a intersubjetividade imprime sua marca.
Este trabalho tem como proposta uma avaliação com bases em critérios préestabelecidos.
CAPÍTULO lll
MODELAGEM DO PROBLEMA
Conforme descrito, no primeiro capítulo, a metodologia proposta busca
tratar de problema da avaliação e classificação do desempenho de IES sob
a percepção do seu corpo discente.
Por tratar-se de problema específico no qual a subjetividade está fortemente
presente, fundamentou-se a proposta aqui apresentada em conceitos de
Auxílio Multicritério À Decisão (AMD), que é capaz de tratar problemas com
esta característica. Mais especificamente utilizou-se o método ELECTRE
TRI (YU, 1992 e Mousseau et al, 1999), da família ELECTRE.
A aplicação desta metodologia é um desdobramento do trabalho de Freitas
(1997), que de forma pioneira empregou o método ELECTRE III para
avaliação da qualidade de serviços. A justificativa para a escolha do
ELECTRE TRI está relacionada ao fato do trabalho apresentar um problema
de classificação ordenada (Costa, 2002), que envolve múltiplos critérios e
avaliação subjetiva.
Essa metodologia é aplicada à avaliação e classificação, sob a ótica do
corpo discente, quanto aos serviços prestados por uma Universidade da
rede particular, situada na Cidade de Campos dos Goytacazes, no Estado
do Rio de Janeiro.
As etapas para a estruturação da metodologia aqui proposta são apresentadas a seguir:
a) IDENTIFICAR A IES CUJO GRAU DE QUALIDADE DE SERVIÇOS
DESEJA-SE AVALIAR
Capítulo lll
Modelagem do Problema 56
O desenvolvimento deste estudo teve como objeto uma Universidade, da
rede particular, localizada em Campos dos Goytacazes, no Estado do Rio de
Janeiro. Esta IES tem uma variedade de cursos de graduação, pósgraduação e de extensão, e vem implementando o Plano de Avaliação e
Excelência Institucional (PAEI). Este plano tem como objetivo avaliar
sistematicamente, o desempenho da mesma, em suas atividades finais de
ensino; pesquisa e extensão e atividades mediadoras administrativas.
Conforme justificado ao longo desse trabalho, dentre os vários tópicos da
dimensão interna, essa dissertação abrangerá a percepção da satisfação do
corpo discente quanto aos serviços prestados pela gestão e pelos diversos
setores da Instituição.
A avaliação foi realizada mediante aplicação de um questionário, onde foi
possível coletar o julgamento de valor sobre o grau de satisfação do corpo
discente com o serviço da IES, à luz de múltiplos critérios.
O recorte temporal recai sobre os seguintes períodos letivos: 2000(segundo
semestre) e 2001(primeiro e segundo semestres).
b)
DENTIFICAR
CONJUNTO
DE
CRITÉRIOS
QUE
DEVEM
SER
CONSIDERADOS NA AVALIAÇÃO DA IES
Considerando o número elevado de alunos dessa IES, estabeleceu-se uma
comissão de trabalho, para definir o conjunto de critérios, assim composta:
pelo presidente do Diretório Acadêmico,
pelo presidente da Empresa
Junior e por representantes de turmas. Essa comissão estava formada por
25 componentes.
A estratégia utilizada para que se chegasse ao consenso teve como
referência
uma adaptação do
método Delph, quanto à escolha dos critérios para a
avaliação da IES. Nesse processo a definição dos critérios foi submetida à
comissão do corpo discente. Os membros da comissão emitiram opinião de
forma anônima, quanto ao conjunto de critérios que consideravam que
Capítulo lll
Modelagem do Problema 57
deveriam ser incluídos na avaliação. Após os resultados dessa primeira
fase, os critérios foram agrupados (na compilação das opiniões evitou-se
repetir respostas) e, numa segunda etapa foram submetidos novamente aos
avaliadores. Ao avaliar este conjunto de critérios os avaliadores não
introduziram modificações no mesmo – o que gerou o conjunto de 17
critérios ilustrado no quadro 3.
CRITÉRIOS
1-Gestão da Direção da Instituição
2 -Gestão da Coordenação Geral de Ensino
3- Gestão da Coordenação Acadêmica do curso
4 _Serviço da Biblioteca
5- Serviço do Xerox
6-Serviço da Secretaria
7- Serviço da Tesouraria
8- Nível de ensino
9- Nível de satisfação em relação ao curso
10- Serviço de Limpeza
11-Escritório Modelo
12-Conforto das Salas
13- Segurança
14-Estacionamento
15 -Esporte e Lazer
16-Serviços de Cantina
- 17-Serviço de manutenção das instalações
Quadro 3 Lista de critérios estabelecidos pela comissão
Foi então realizada uma reunião aberta do grupo, conduzida por um
facilitador. Nesta reunião se chegou a conclusão de que este conjunto de
critérios era muito grande e que este fato prejudicaria a coleta de dados.
Ainda nesta reunião aberta e através de um processo de discussão, chegouse a um consenso pela eliminação de alguns critérios, reduzindo o conjunto
final para os 09 critérios ilustrados no quadro 4.
Capítulo lll
Modelagem do Problema 58
CRITÉRIOS
Código
1- Gestão da Direção da Instituição
Cr1
2 -Gestão da Coordenação Geral de Ensino
Cr2
3 -Gestão da Coordenação Acadêmica de seu curso
Cr3
4 -Serviço da Biblioteca
Cr4
5- Serviço do Xerox.
Cr5
6-Serviço da Secretaria
Cr6
7- Serviço da Tesouraria
Cr7
8- Nível de ensino
Cr8
9- Nível de satisfação em relação ao curso que está
cursando
Cr9
Quadro 4 Critérios finais estabelecidos pela comissão
Vale registrar que o processo de obtenção do consenso nesta reunião
aberta foi facilitado pelo processo inicial baseado no Delphi, que resultou
em uma proposta prévia de conjunto de critérios.
Os critérios são atributos que refletem o grau de relevância das alternativas
que são analisadas. Isto se dá quando estes critérios são representados por
quantidades mensuráveis que descrevem o seu desempenho.
Definidos os critérios, a implantação da avaliação institucional ocorreu no
semestre seguinte, com uma amostra aleatória de alunos matriculados entre
o segundo período (inclusive) e o último período (exclusive).
Além dos critérios definidos estabeleceu-se que se daria uma nota geral
para a instituição, que permitisse um estudo de comparação e análise de
coerência entre a percepção geral do discente e a classificação obtida pela
IES.
Capítulo lll
Modelagem do Problema 59
c) ESPECIFICAR A ESCALA PARA OS JULGAMENTOS DOS GRAUS
DE IMPORTÂNCIA DE CADA CRITÉRIO
Neste caso utilizou-se uma escala similar a escala Likert para obter o
julgamento da comissão representativa do corpo discente a respeito dos
Graus de Importância (pesos) de cada critérios.
Particularmente, nesta
escala os valores nominais estão associados a números inteiros que variam
de 1 a 5 (Mattar, 1996) e visam auxiliar o julgamento da comissão. A Tabela
1 ilustra a escala utilizada:
Muito
Importante
Mais ou menos
Pouco
Nada
Importante
Importante
Importante
Importante
5
4
3
2
1
Tabela 1- Escala para o julgamento dos Graus de Importância
A comissão de discentes se reuniu e discutiu a importância desses critérios.
Após esse procedimento, a comissão concluiu que para atender as
expectativas dos discentes, todos os critérios tinham igual importância
(foram considerados como muito importantes). Este resultado está ilustrado
na tabela 2, apresentada a seguir:
Código
Peso
1-Gestão da Direção da Instituição
Cr1
5
2 -Gestão da Coordenação Geral de Ensino
Cr2
5
3- Gestão da Coordenação Acadêmica do curso
Cr3
5
4 _Serviço da Biblioteca
Cr4
5
5- Serviço do Xerox
Cr5
5
6-Serviço da Secretaria
Cr6
5
7- Serviço da Tesouraria
Cr7
5
8- Nível de ensino
Cr8
5
9- Nível de satisfação em relação ao curso
Cr9
5
CRITÉRIOS
Tabela 2– Critérios e os respectivos pesos
Capítulo lll
Modelagem do Problema 60
É importante registrar que este procedimento de definição de critérios foi
realizado, pela IES no primeiro semestre de 2000. Período anterior ao início
desta pesquisa, sendo, portanto, um procedimento operacional da mesma,
sob o qual a coordenadora dessa pesquisa não opinou.
Este fato está de acordo com a filosofia adotada neste trabalho de atuar
como elemento de medição, não interferindo no processo enquanto agente
de avaliação.
d) IDENTIFICAR AS CLASSES DE EQUIVALÊNCIA JUNTAMENTE COM
SEUS RESPECTIVOS LIMITES (FRONTEIRAS)
Neste experimento foram definidas quatro fronteiras (F1, F2, F3 e F4,) para
delimitar as cinco categorias de classificação estabelecidas (C1, C2, C3, C4
e C5), assim são definidas as classes que servirão como padrão para a
classificação das alternativas avaliadas. A Tabela 3 apresentada a seguir,
ilustra as categorias e fronteiras consideradas nesse experimento.
Categorias
Limites das Categorias
e Fronteiras
cr1
cr2
cr3
cr4
cr5
cr6
C1
F1
4,5
4,5
4,5
4,5
3,5
3,5
3,5
3,5
4,5
C5
4,5
4,5
4,5
4,5
3,5
3,5
3,5
3,5
3,5
REGULAR
2,5
2,5
2,5
2,5
C4
F4
cr9
BOM
C3
F3
cr8
MUITO BOM
C2
F2
cr7
2,5
2,5
2,5
2,5
2,5
RUIM
1,5
1,5
1,5
1,5
1,5
1,5
1,5
1,5
1,5
MUITO RUIM
Tabela 3- Limites das categorias utilizadas no experimento
Estas prateleiras definem as classes de referência. Por exemplo, se a IES
Capítulo lll
Modelagem do Problema 61
receber uma avaliação igual a 4,0, em todos os critérios , ficará classificada
na classe C2 ( Desempenho Bom ).
e) ESPECIFICAR A ESCALA DE JULGAMENTOS DOS SERVIÇOS
PRESTADOS PELA IES ”X” À LUZ DE CADA CRITÉRIO
No contexto desta metodologia, recomenda-se o emprego de escalas
nominais associadas a uma escala numérica, visto que a metodologia
proposta permite contemplar critérios subjetivos na avaliação, ou seja, os
critérios qualitativos precisam de uma escala auxiliar para traduzir o
desempenho da alternativa, o que permite interpretar o desempenho da IES
em relação a cada critério. A escala definida pela IES está de acordo com
as escalas utilizadas em Freitas (1997), Santafé et al (1998), Azevedo e
Costa (2000) e Mansur (2000) - que foram desenvolvidas com base na
Escala de LIKERT. A escala adotada é apresentada na Tabela 4.
VALORES
CATEGORIAS
CONCEITO
NUMÉRICOS
MUITO BOM
5
C1
BOM
4
C2
REGULAR
3
C3
RUIM
2
C4
MUITO RUIM
1
C5
Tabela 4- Escala de conversão para o Julgamento dos critérios
Identificada à escala a ser utilizada para interpretar o desempenho da IES
em relação a cada critério, formatou-se o instrumento da pesquisa (fig.9).
Dessa forma, quanto mais próximo do 1 a resposta,menor à satisfação do
discente e quanto mais próxima do 5, maior a satisfação dos mesmos com
relação ao serviço prestado pela IES.
Capítulo lll
Modelagem do Problema 62
.
Figura 9 -Formulário de Avaliação
f) DEFINIR O CONJUNTO DE AVALIADORES
Os avaliadores são constituídos por membros do corpo discente, dos cursos
de graduação, matriculados entre o segundo período (inclusive) e o último
período
(exclusive),
durante
o
período
2000(segundo
semestre)
e
2001(primeiro e segundo semestre) que emitiram julgamentos a respeito do
Grau de Satisfação com os serviços prestados pela IES à luz de cada
critério estabelecido pela comissão representativa dos discentes. Estes
avaliadores foram definidos de forma aleatória, em amostras constituídas de
975 alunos (conforme tabela 5). Foram desprezados os dados (da amostra e
da população) referentes aos discentes matriculados nos primeiros e nos
últimos períodos.
Período
Amostra
População
2000/2
373
1151
2001/1
339
1496
2001/2
263
1401
TOTAL
975
4048
Tabela 5 - Amostra e População utilizada na pesquisa
Capítulo lll
Modelagem do Problema 63
g) COLETA DE JULGAMENTO DE VALOR.
Três conjuntos de dados foram coletados:
O primeiro conjunto de dados coletados é referente ao segundo
semestre de 2000.
O
segundo conjunto de dados coletados é referente ao primeiro
semestre de 2001.
O terceiro conjunto de dados coletados é referente ao segundo
semestre de 2001.
Os resultados gerais obtidos nesta coleta estão apresentados no anexo ll.As tabelas
a seguir apresentam uma consolidação destes dados. A média e a moda são
destacadas por serem medidas de tendência central importantes.
Critérios
Média
Moda
Coeficiente de
Variação
CR 1
3,68
4
0,25
CR 2
3,65
4
0,24
CR 3
3,59
4
0,25
CR 4
3,25
4
0,35
CR 5
3,13
4
0,42
CR 6
3,55
4
0,34
CR 7
3,37
5
0,36
CR 8
4,01
5
0,20
CR 9
4,00
4
0,19
GERAL
3.57
Tabela 6 - Resultados referentes a 2000/2
Capítulo lll
Critérios
Média
Moda
Modelagem do Problema 64
Coeficiente de
Variação
CR 1
3,87
4
0,24
CR 2
3,77
4
0,25
CR 3
3,71
4
0,28
CR 4
3,87
5
0,28
CR 5
3,12
3
0,42
CR 6
3,67
5
0,33
CR 7
3,73
5
0,32
CR 8
4,02
4
0,24
CR 9
4,02
5
0,25
GERAL
3,75
Tabela 7 - Resultados referentes a 2001/1
Critérios
Média
Moda
Coeficiente de
Variação
CR 1
2,87
3
0,33
CR 2
2,69
2
0,34
CR 3
2,63
2
0,36
CR 4
2,82
3
0,33
CR 5
2,52
2
0,37
CR 6
2,65
2
0,34
CR 7
2,75
3
0,35
CR 8
2,70
2
0,36
CR 9
2,82
3
0,33
Geral
2.72
Tabela 8 - Resultados referentes a 2001/2
Média
Moda
Coeficiente de
Variação
.
2000/2
4,01
4
0,16
2001/1
4,08
4
0,21
2001/2
2,77
2
0,33
Tabela 9- Percepção dos discentes
Capítulo lll
h)
ESTABELECER
OS
LIMITES
DE
Modelagem do Problema 65
PREFERÊNCIA
(p)
E
DE
INDIFERENÇA (q); PARA CADA CRITÉRIO.
O ELECTRE TRI permite trabalhar com as imprecisões e incertezas do
julgamento. Este trabalho é feito através de três variáveis:
-
O limite de preferência (p);
-
O limite de indiferença (q);
-
O limite de veto (v).
O ideal é que estes limites sejam expressos pelos próprios avaliadores. No
entanto, em algumas situações torna-se proibitivo coletar estas variáveis
junto aos avaliadores. No problema em tela esta situação ocorre, pois dois
motivos tornaram inviáveis definir estas variáveis: o tamanho da amostra; e,
a falta de conhecimento da comissão e dos avaliadores sobre o processo de
definição destas variáveis.
Este é um problema que surge ao se utilizar os Métodos da família
ELECTRE com múltiplos avaliadores e que ainda está em aberto. Em geral
nestas situações, tem sido usual arbitrar valores para p e q, além de
desprezar o limite de veto. Esse fato ocorre sem que haja grandes prejuízos
de aproveitamento dos benefícios da Análise Multicritério.
No presente trabalho propõe-se desprezar o veto e considerar para p e q o
coeficiente de variação da amostra (Tabela 10). Os coeficientes de variação
(cv) foram obtidos através de tratamento estatísticos de dados referentes
aos limites de cada critério. Este procedimento foi inicialmente proposto em
Mansur (2000) e em Mansur e Costa (2001),que busca utilizar uma variável
que represente a incerteza ou dispersão da amostra, sob um ponto de vista
global.
Os valores dos limites de preferência (p) e indiferença (q) serão adotados
de acordo com a seguinte equação:
p=
q=
max(
cv)
min ( cv)
Capítulo lll
Modelagem do Problema 66
Para o problema abordado a restrição conceitual e matemática na definição
destes valores é a seguinte:
0
≤
q ≤
p ≤ 0,5. Não há na literatura
orientação para escala desses valores.
Considerando que eles são uma medida de dispersão do
“pensamento”
do julgador, porque permitem considerar a natureza de hesitação ou
imprecisãodo mesmo, inerente a julgamentos emitidos a IES à luz dos
critérios considerados, no presente trabalho adotou-se uma medida de
dispersão dos julgamentos para estabelecer q e p.
p
q
CR 1
0,33
0,24
CR 2
0,34
0,24
CR 3
0,36
0,25
CR 4
0,35
0,28
CR 5
0,42
0,37
CR 6
0,35
0,33
CR 7
0,36
0,32
CR 8
0,36
0,20
CR 9
0,3262
0,198
Tabela 10 - Limites de preferência (p) e de indiferença (q) para
cada critério
I ) EXECUTAR O ALGORITMO DE CLASSIFICAÇÃO DO ELECTRE TRI
A partir dos dados obtidos na pesquisa, tratados estatisticamente, obteve-se a
classificação das alternativas, utilizando procedimentos de classificação do método
ELECTRE TRI.
Essa metodologia permite a classificação das alternativas
segundo dois procedimentos: procedimento otimista (menos exigente) e
procedimento pessimista (mais exigente). Esse método permite adotar um
valor para o limite de corte = ‫ ( ּג‬0,5 ≤ ‫ ≤ ּג‬1 ). A compreensão dos resultados
é possível com a análise apresentada a seguir.
Capítulo lll
Modelagem do Problema 67
ANÁLISE DOS RESULTADOS
Buscando
analisar
experimentos.
os
resultados
obtidos,
foram
realizados
vários
Estes experimentos buscaram avaliar o efeito introduzido
pelas seguintes ações:
considerar a média dos julgamentos como elemento de
entrada para os julgamentos de valor;
considerar a moda dos julgamentos como elemento de
entrada para os julgamentos de valor;
considerar pesos dos critérios atribuídos pela alta
direção da Instituição.
•
Média como parâmetro de entrada
O Quadro 5 apresenta os resultados da classificação da IES sob o ponto de
vista do discente, nos recortes de tempo (2000/2, 2001/1, 2001/2),
localizando
a
IES
em
suas
respectivas
classes
padrão
de
desempenho.Estes resultados foram obtidos ,adotando-se ‫= ּג‬0,75 e as
médias dos julgamentos para o desempenho das alternativas.
Classificação
Alternativas
Pessimista
Otimista
2000-2 ME
Bom
Bom
2001-1 ME
Bom
Bom
2001-2 ME
Regular
Regular
Quadro 5- Resultados obtidos na utilização pelo ELECTRE TRI
utilizando a média
Capítulo lll
Modelagem do Problema 68
Analisando o resultado pelo método ELECTRE TRI, utilizando as médias
ponderadas no julgamento de valor, encontra-se o seguinte resultado:
Em 2000/2 e 2001/1 os resultados de desempenho da IES tiveram
concordância
classificação
elevada
otimista
demonstrada
e
pessimista,
pelo
conceito
segundo
a
Bom,
opinião
na
dos
respondentes.
Em 2001/2 os resultados foram considerados regulares nas duas
classificações feitas pelo método.
Foram realizados vários ensaios variando o valor do plano de corte ( λ) . Os
valores acima apresentados permaneceram inalterados para valores de λ
menores ou iguais a 0,97 (valor máximo=1,0). Estes resultados mostram
uma alta estabilidade do modelo.
•
Moda como parâmetro de entrada
Também foi realizado um experimento utilizando a moda do desempenho em
cada critério. Neste experimento foram realizados vários ensaios variando o
valor do plano de corte ( λ ). Os resultados destes ensaios indicam
incomparabilidades para valores de λ maiores ou iguais a 0,56 (o valor
mínimo possível é 0,5). Estes resultados mostram uma baixa estabilidade do
modelo ao se utilizar a moda como parâmetro de entrada. Os resultados
obtidos com λ = 0,75 estão apresentados no quadro a seguir.
Alternativas
Classificação
Pessimista
Otimista
2000- 2 MO
Bom
Bom
2001-1 MO
Bom
Muito Bom
2001-2 MO
Ruim
Regular
Quadro 6- Resultados obtidos na utilização pelo ELECTRE TRI
utilizando a moda. (λ= 0,75).
Capítulo lll
Modelagem do Problema 69
Assim, ao utilizar a moda como resultado do julgamento de valor,
ocorreram incomparabilidades nos seguintes períodos:
2001/1 obteve na classificação otimista Muito Bom e na
pessimista Bom.
2001/2 obteve na classificação otimista Regular e na
pessimista Ruim.
• Intercomparação de resultados
Também
foi
avaliada
a
classificação
que
seria
obtida
por
outros
procedimentos:
Média ponderada
Moda
Percepção inicial do discente
Os resultados obtidos por estas abordagens são apresentados no Quadro 7
juntamente com as classificações obtidas pelo método ELECTRE TRI.
Classificações
Alternativa
ELECTRE TRI
ELECTRE TRI
Média
Moda
Pessimista Otimista
Pessimista
Otimista
Bom
2000-2
Bom
Bom
Bom
2001-1
Bom
Bom
Bom
2001-2
Regular
Regular
Ruim
Quadro 7 – Classificação Geral da IES
Muito
Bom
Regular
Percepção
Média
Inicial
Geral
do Discente
Média
Moda
Bom
Bom
Bom
Bom
Bom
Bom
Regular Regular
Ruim
Capítulo lll
Modelagem do Problema 70
Observa-se que ao estabelecer uma comparação de resultados nos diversos
métodos aplicados, utilizando a média dos desempenhos na classificação da
IES, houve uma homogeneidade de resultados em cada período da coleta
de dados, ou seja
há uma coincidência de 100%
nos resultados
das
classificações obtidas para a IES.
Percebe-se, entretanto que ao utilizar a moda resultante do julgamento de
desempenho
da
IES,
a
classificação
obtida
apresenta
resultados
heterogêneos para os períodos 2001/1 e 2001/2. Este fato indica uma
incomparabilidade.
As incomparabilidades representam uma incapacidade do sistema em
estabelecer
uma
comparação
entre
os
elementos
classificados
em
diferentes classes de equivalência, o que indica divergências entre os
resultados da classificação otimista e da pessimista. Neste caso, o
administrador da instituição deve adotar uma das classificações de acordo
com seu perfil (mais exigente ou menos exigente).
Estes resultados indicam uma estabilidade do modelo proposto quanto à
utilização da média como elemento de avaliação para classificação no
ELECTRE
TRI.
Adicionalmente
este
modelo
apesar
de
apresentar
classificação semelhante aquela obtida pela percepção inicial do discente,
também foi capaz de sinalizar quanto à credibilidade da classificação obtida,
conforme descrito a seguir.
Também o ELECTRE TRI é capaz de informar a credibilidade, isto é, o
indicador que se pode expressar até que ponto a alternativa subordina um
perfil
ou
vice-versa.
As
relações
de
subordinação
se
baseiam
na
comparação dos graus de credibilidade com o nível de corte( neste caso λ =
0,75 ).
A credibilidade é o indicador básico para a construção das relações de
subordinação. Considerando
o nível de corte que foi estabelecido,
significa que este é o menor valor índice de credibilidade compatível com a
Capítulo lll
Modelagem do Problema 71
afirmativa que a S b, originando assim as relações binárias de preferência,
indiferença e incomparabilidade. Portanto as relações de subordinação se
baseiam na comparação dos graus de credibilidade com o nível de corte.
O quadro 8 demonstra o grau com que uma alternativa supera um perfil e o
quadro 9 mostra o grau com que um perfil supera uma alternativa.
Alternativas
Pr04
Pr03
Pr02
Pr01
2000-2ME
1,000
1,000
1,000
0,000
2001-1ME
1,000
1,000
0,973
0,000
2001-2ME
1,000
1,000
0,000
0,000
Quadro 8
Graus de credibilidade pelo ELECTRE TRI
(utilizando a média), uma visão otimista .
Alternativas
2000-2ME
2001-1ME
2001-2ME
Pr04
Pr03
Pr02
Pr01
0,000
0,000
0,778
1,000
0,000
0,000
0,519
1,000
0,000
0,726
1,000
1,000
Quadro 9 -Graus de credibilidade pelo ELECTRE TRI
(utilizando a média), uma visão pessimista.
Capítulo lll
ALTERNATIVAS
2000-2MO
2001-1MO
2001-2MO
Modelagem do Problema 72
Pr04
Pr03
Pr02
Pr01
0,000
0,000
0,000
0,778
0,000
0,000
0,111
0,556
0.000
0.556
1,000
1,000
Quadro 10- Graus de credibilidade pelo ELECTRE TRI
(utilizando a moda), uma visão pessimista .
Alternativas
Pr04
Pr03
Pr02
Pr01
2000-2MO
1,000
1,000
1,000
0,222
2001-1MO
1,000
1,000
0,889
0,444
1,000
0,444
0,000
0,000
2001-2MO
Quadro 11-Graus de credibilidade pelo ELECTRE TRI
(utilizando a moda) uma visão otimista
Considerando
λ = 0,75 e os graus de credibilidade nos valores em
destaque encontrados na análise dos Quadros 10 e 11, torna-se fácil
compreender os resultados de incomparabilidades , pois verifica-se que ao
utilizar a moda tanto na visão otimista quanto na visão pessimista, os graus
de credibilidade são menores que o nível de corte.
•
Influência dos pesos.
Foi ainda realizado um experimento no qual se buscou avaliar os efeitos
introduzidos no modelo ao se considerar os pesos, como sendo atribuídos
pela alta direção da IES, considerando o enfoque no discente, considerando
Capítulo lll
Modelagem do Problema 73
que a direção pode ter outra percepção da importância dos critérios. Os
valores adotados para os pesos são apresentados na tabela a seguir:
CRITÉRIOS
Código
Peso
1-Gestão da Direção da Instituição
Cr1
5
2 -Gestão da Coordenação Geral de Ensino
Cr2
4
3-Gestão da Coordenação Acadêmica do curso
Cr3
4
4 _Serviço da Biblioteca
Cr4
4
5- Serviço do Xerox
Cr5
2
6-Serviço da Secretaria
Cr6
3
7- Serviço da Tesouraria
Cr7
1
8- Nível de ensino
Cr8
5
9- Nível de satisfação em relação ao curso
Cr9
5
Tabela 11 – Critérios e os respectivos pesos atribuídos pela alta direção
Para se realizar a análise destes pesos foram atribuídos julgamentos de valores considerandos em dois contextos:
-
considerando a moda
-
considerando a média.
Observou-se que não houve variação nos resultados obtidos anteriormente
pela introdução desta “perturbação”, neste estudo de caso.
CAPÍTULO lV
CONCLUSÃO
Este trabalho atingiu o seu objetivo principal, pois desenvolveu uma
investigação sobre o processo de avaliação institucional de IES, ao propor
uma inédita modelagem para a solução do problema abordado. A seguir são
destacadas algumas das observações e conclusões estabelecidas ao longo
desta investigação.
Conforme pode ser observado, o tema avaliação Institucional é um tema
relevante e cuja solução permanece em aberto.
A literatura consultada
permite localizar uma gama de justificativas para a questão, sendo a
melhoria contínua um dos fatores que justificam a adoção de programa de
avaliação institucional. Há também que se observar que a implementação da
avaliação institucional encontra amparo legal: (...) “reconhecida como uma
necessidade por todos os setores envolvidos coma vida universitária
(dirigentes, docentes, discentes, sindicatos e governo)” no Programa
Avaliação Institucional das Universidades Brasileiras (PAIUB, 1994,5) e no
parágrafo único, nos termos do Artigo 4, do Decreto n 2.026,de 10 de
outubro de 1996,determinando que se levará em consideração à autoavaliação realizada pela própria instituição.
A percepção do discente, a despeito de sua subjetividade é algo que a IES
deve observar, pois a satisfação do seu público interno é indispensável para
assegurar a busca sempre crescente da excelência. A imagem que o corpo
discente
tem
da
IES
pode
comprometimento com a mesma.
levá-lo
a
ter
um
maior
ou
menor
Capítulo IV – Conclusão
75
Se por um lado, a necessidade de avaliação é reconhecida, de outro, a
carência de consenso 23 quanto ao procedimento universal da avaliação
adequada às características “sui generis” das IES, ainda motiva o seguinte
problema:
Como avaliar a IES, buscando captar a percepção da
satisfação
dos
discentes,
quanto
aos
serviços
prestados pela mesma, utilizando procedimentos e
critérios
que
contemplem várias
atividades
e
as
particularidades da mesma.
O presente trabalho insere-se no esforço de consolidar um arcabouço
teórico e metodológico da avaliação institucional, buscando alternativas que
possam colaborar na solução deste problema. A pesquisa foi pautada na
auto -avaliação, ou seja, na avaliação interna cujo julgamento de valor foi
emitido pelo próprio corpo discente, segundo seus conceitos e sua
percepção, existindo assim forte possibilidade do processo ser participativo
para efeitos de melhoria institucional.
O processo de auto-avaliação só pôde ser instalado porque a IES estava
propensa a implantar este processo, com vontade política de impulsionar a
revisão dos fatores de insatisfação do corpo discente quanto aos serviços
por ela prestados.
Na tentativa de contribuir com a solução deste problema, este trabalho
utilizou o método ELECTRE TRI, considerado capaz de considerar a
complexidade e subjetividade dos múltiplos aspectos a serem avaliados.
Para a pesquisa de campo foi utilizado um questionário estruturado com
questões fechadas, que resultaram em 973 instrumentos respondidos para
os períodos semestrais compreendidos entre 2000/2 e 2001/2 (inclusive),
visto que a prática avaliativa é sempre temporal.
2
Carência esta inerente ao problema de avaliação das IES, no qual as peculiaridades de cada Instituição devem
ser
consideradas e respeitadas.
Capítulo IV – Conclusão
76
Os critérios adotados na avaliação foram sugeridos por representantes do
corpo discente, de acordo com a importância dos mesmos para ele.
Os resultados obtidos, ao se considerar a média dos julgamentos de valor,
indicaram uma estabilidade do modelo adotado. Esta estabilidade não foi
obtida ao se utilizar a moda dos julgamentos como a variável representativa
do julgamento de valor da amostra – neste caso foram identificadas várias
incomparabilidades. As incomparabilidades, nesta abordagem só foram
eliminadas ao
Assim,
pôde-se
se considerar graus de credibilidades inferiores a 0,56.
concluir
que
a
utilização
da
moda
como
elemento
representativo do julgamento de valor na modelagem não é recomendada,
por associar baixa credibilidade à classificação final.
Assim conclui-se que, para a modelagem adotada, a utilização da média
como variável representativa do julgamento de valor, nas observações
realizadas, ofereceu maior credibilidade aos resultados encontrados, visto
que incomparabilidades só foram detectadas para valores de grau de
credibilidade superiores ou iguais a 0,98 (o valor máximo possível é 1,0).
Durante a pesquisa foi formulada ao corpo discente uma pergunta sobre
como ele percebia a sua satisfação com a Instituição, sob um aspecto
global.
As
respostas
a
esta
questão
permitiram
estabelecer
uma
comparação entre os resultados obtidos pela aplicação do método e uma
percepção geral captada de uma forma não estruturada. É curioso e
instigante observar que os resultados foram similares aos obtidos pela
utilização da média dos julgamentos no ELECTRE TRI. Neste caso as
vantagens de se utilizar o método estão fundamentadas nos seguintes
aspectos:
1) A utilização do método fornece um sinal adicional de grande
importância: o grau de credibilidade associado à classificação.
Informação esta não obtida ao se utilizar a pergunta direta. Este fato,
Capítulo IV – Conclusão
por exemplo, permitiu concluir que a
média dos
77
julgamentos
apresentou-se mais indicada do que moda dos julgamentos.
2) O método permitiu a estruturação do modelo em critérios específicos
que permitem identificar os aspectos mais fortes e os mais fracos da
Instituição, na percepção dos alunos.
3) Permite
identificar
a
existência
ou
não
de
inconsistência
(incomparabilidades) não detectáveis na percepção inicial e na média
ponderada.
Ao se analisar os resultados pode-se, ainda, concluir que:
1) Os pontos mais fortes da instituição estão associados aos critérios:
nível de ensino e nível de satisfação em relação ao curso. No entanto,
nota-se uma queda de desempenho nestes critérios no último período
observado (2001/2).
2) Observa-se que o serviço de reprografia foi considerado um dos
pontos mais fracos da Instituição em todos os períodos. Outros pontos
que também merecem atenção e estiveram oscilando entre os pontos
mais fracos ao longo dos períodos de observação: biblioteca,
secretaria e coordenação do curso. Recomenda-se que estes três
serviços sejam observados com mais atenção para que se obtenha
um melhor desempenho nos mesmos. É importante destacar que as
ações de melhora adotadas não parecem estar surtindo o efeito
esperado, visto, por exemplo, os resultados obtidos no serviço de
reprografia - que permanece com pouca satisfação do corpo discente.
3) Outro dado interessante é a diminuição da satisfação com os serviços
prestados pela IES (de Bom em 2000/2e 2001/1 para Regular em
2001/2). A queda na classificação coincide com a redução da
população de alunos na Instituição. Embora a pesquisa não permita
Capítulo IV – Conclusão
78
associar esta redução (evasão) com a queda da satisfação do corpo
discente, este é um sinal importante e que deve ser considerado.
Foi também avaliada a sensibilidade (julgamento concentrado perto de um
valor) do modelo aos pesos atribuídos aos critérios. Nesta análise de
sensibilidade substitui-se o peso atribuído aos critérios pelo corpo discente
por pesos atribuídos pela alta direção da Instituição 3 . Esta perturbação não
alterou os resultados obtidos, neste estudo de caso.
No terceiro período da pesquisa (2001/2) o número da amostra diminuiu em
relação aos períodos anteriores, além da IES ter obtido valores mais baixos
no julgamento de valores. Vários fatores podem ter contribuído como, por
exemplo:
•
observou-se que a pesquisa havia sido realizada em período de
provas, portanto recomenda-se que a coleta de dados seja feita no
início de cada período;
•
aumentou-se o número de instituições e de cursos de nível superior
na região,aumentando a competitividade;
•
maior números de alunos em séries mais avançadas 4 ,que pode ter
comportamento mais exigente quanto a qualidade dos serviços
prestados.
A pesquisa permitiu desenvolver junto à comunidade universitária um
trabalho de discussão da própria realidade e de redesenho de uma
participação mais efetiva.
Como sugestões para desenvolvimento futuro, apresentam-se as seguintes
ações:
3
Neste processo a Alta Direção atribuiu pesos supondo a importância que cada critério teria para o corpo
discente.
4
Alguns cursos foram implantados em 1998/2, a partir da transformação da faculdade em Universidade.
Capítulo IV – Conclusão
79
Aprofundar as pesquisas considerando subcritérios, nos aspectos que
tenham
apresentado
maior
insatisfação
do
corpo
discente,
possibilitando diagnosticar lacunas a serem superadas, permitindo ao
gestor obter informações mais precisas na tomada de decisão.
•
Expandir a avaliação interna para outros níveis do sistema.
•
Inserir um sistema de avaliação externa, a ser realizada por comissão
ad hoc.
•
Continuar a aplicação deste modelo ao longo do tempo, permitindo
definir um “filme” sobre a avaliação da instituição “X”, sob a ótica do
seu corpo discente. A avaliação é uma atividade processual, isto é,
contínua
e
sistemática.É
autoconhecimento
se
um
processo
aprofunda,
através
alcançando
a
do
qual
o
compreensão
contextualizada do que está sendo avaliado, para isso sugere-se a
constituição de uma comissão permanente de avaliação institucional.
•
Intercomparar os resultados obtidos com aqueles obtidos por outras
técnicas de classificação.
•
Verificar meios de interligação entre as várias faces da avaliação
institucional,
de
modo
que
retroalimentação do sistema.
a
avaliação
global
leve
a
uma
Capítulo IV – Conclusão
80
Referências Bibliográficas
80
REFERÊNCIAS BIBLIOGRÁFICAS
ABRAMOWICZ, Mere. Avaliação tomada de decisões e políticas: subsídios
para um repensar. Estudos em Avaliação Educacional, São Paulo, n.10,
1994.
ACHERMAN, H.A. El caso holandês.
In: VESSURI, H.
La evaluación
academica: enfoques y experiencias. Trad. Luis Manuel Correa Power.
Paris, UNESCO, Documentos Columbus sobre gestion universitária, 1993.
AFONSO,
Almerindo
Janela.
Avaliação
educacional:
regulação
e
emancipação. São Paulo: Cortez, 2000.
ALBRECHT, Kat. Revolução nos serviços: como as empresas podem
revolucionar a maneira de tratar os clientes. 4. ed. São Paulo: Pioneira,
1994.
_______, At America´s Service, Dow Jones-Irwin, Homewood, Illinois, 1988.
_______., BRADFORD, L. J, The Service Advantage, Richard D. Irwin, Inc,
1990.
ALMEIDA, Custódio Luís S. de. Avaliação como aprendizagem da cidadania.
Revista de Educação AEC (94). Brasília, 1985.
AMARAL,
Alberto.
Modelos
de
avaliação
das
Universidades.
In:
FUNDAÇÃO UNIVERSIDADES PORTUGUESAS. Avaliação do desempenho
das universidades. Coimbra Documenta, no. 1, 1996.
ANDRAD, Arnaldo. Planejamento Estratégico
Superior.
para Instituições de Ensino
EDFUUFRB, 1993
ANSOFF, H. Igor, A Nova Estratégia Empresarial. São Paulo: Atlas, 1990.
_______, H. Igor, Estratégia Empresarial, São Paulo: McGraw-Hill do Brasil,
1977.
Referências Bibliográficas
81
ANGRAD – Perfil , SP: Angrad, 1996.
AZEVEDO, M. C. Avaliação Estratégica da Competitividade: Abordagem
Multicritério
Através
do
ELECTRE
TRI.
Dissertação
(Mestrado
em
Engenharia de Produção). Campos dos Goytacazes: Universidade Estadual
do Norte Fluminense – UENF/CCT. 2001.
BARBOSA, Eduardo et al. Implantação da Qualidade Total na Educação.
1.ed. Belo Horizonte, UFMG, Escola de Engenharia, Fundação Christiano
Ottoni,1995.
BARRACHO, José Alfredo de Oliveira. Autonomia Universitária: questões
constitucionais ilegais à auto aplicabilidade do art. 207. (Parecer ANDIFES).
Belo Horizonte, 1996.
BARROSO, J. O estudo da autonomia da escola: da autonomia decretada à
autonomia construída. In: ___ . (org.) O estudo da escola. Portugal: Porto,
1996.
BAUER, Marianne.
El caso sueco. In: VESSURI, H.
La evaluación
academica: enfoques y experiencias. Trad. Luis Manuel Correa Power.
Paris, UNESCO, Documentos Columbus sobre gestion universitária, 1993.
BECKHARD, R., Desenvolvimento Organizacional: Estratégias e Modelos.
São Paulo: Editora Edgard Blücher, 1972.
BELLO, José Luiz de Paiva. Avaliação da Universidade: mais um equívoco
da política educacional do MEC. Rio de Janeiro, 1999. Disponível no site:
http://mail.iis.com.br/~jbello/filos07.htm, acessado em jan./2002.
BELLONI, I. A universidade e o compromisso da avaliação institucional na
reconstrução do espaço social. Avaliação. Campinas, ano 1, n.2, 1996.
_______. A função social da avaliação institucional. Avaliação, Campinas,
v.3, n.34, 1998.
Referências Bibliográficas
82
BELLUZZO, Regia Célia Baptista. Qualidade no atendimento ao cliente rumo
ao século 21.Presidente Prudente. 1999.
BERRY, Leonard L, Parasuraman, A. Serviços de Marketing. São Paulo:
Maltese – Norma, 1992.
BETHELEM, Agrícola. Estratégia Empresarial, São Paulo: Atlas 4. Edição,
2002.
BONEMY, Helena (org.). Avaliação e determinação de padrões na Educação
latino-americana. Rio de Janeiro: Fundação Getúlio Vargas, 1997.
BORDENAVE, Juan E. Diaz. O que é participação. São Paulo: Brasiliense,
1983. (Coleção Primeiros Passos).
BRASIL. Lei no. 9.394, de 20 de dezembro de 1996. Lei de Diretrizes e
Bases da Educação Nacional.
BRENNAN, John. Avaliação institucional na Europa. Palestra proferida no
Seminário Internacional sobre Avaliação no Ensino Superior, realizado em
Uberlância, Minas Gerais, no período de 22 a 24 de outubro de 1997.
_______. Peer review and partnership: changing patterns, of validation in
the public sector of higher education in the United Kingdom. IJIMHE, v. 10,
n.2, 1986.
BUARQUE ,Cristovam. A Aventura da Universidade . Rio de Janeiro: Paz e
Terra e Ed. UNESP, 1997.
CALVINO, Ítalo.
Seis propostas para o próximo milênio. São Paulo:
Companhia das Letras, 1995.
CAMPOS, Roberto, “O que O Capitalismo Nos Reserva”. Ensaio analisando
a obra O Futuro Do Capitalismo, de Lester C. Thurow, in Exame, Ano 29,
N.11, 22/5/96.
CARVALHO, Almir Tabajara Alves de. Avaliação de Instituições de Ensino
Superior: uma necessidade atual e contínua. Rio de Janeiro: Universidade
Referências Bibliográficas
83
de Brasília/Faculdade de Educação/Cátedra UNESCO de Educação à
distância, 1998. Monografia de final de curso de Especialização.
CASAS, Alexandre Luzzi. Qualidade Total em Serviços. São Paulo. Ed.
Atlas, 1999.
CATANI, Afrânio Mendes (org.). Universidade na América Latina: tendências
e perspectivas. São Paulo: Cortez, 1996.
_______. Novas perspectivas nas políticas de educação superior na
América Latina no Limiar do Século XXI. Campinas: Autores Associados,
1998.
_______ e OLIVEIRA, João Ferreira de. O sistema e a política de avaliação
da Educação Superior no Brasil. Avaliação. Revista da Rede de Avaliação
Institucional da Educação Superior. ano 5, vol. 5, no. 3, 2000.
CHAUÍ, Marilena. A Universidade operacional, In: Folha de S. Paulo,
Caderno Mais, Domingo, 9 de maio de 1999.
_______. A universidade operacional. Caderno Mais da Folha de S. Paulo,
em 9 de maio de 1999 e Revista Adunicamp. Desafios da Universidade
Pública, Revista 1, julho de 1999. Disponível no site , acessado em
12/10/2002 .
_______ . Em torno da universidade de resultados e de serviços. Dossiê
Universidade- Empresa. Revista USP, São Paulo, n. 25, mar./maio, 1995.
CHIAVENATO,
Idalberto.
Administração
dos
Novos
Tempos.Editora
Campus, 1999.
_______. Teoria Geral da Administração. São Paulo: Editora McGraw Hill,
1979.
_______. Gerenciando Pessoas: O Passo Decisivo para a Administração
Participativa. 2. ed. São Paulo: Makron Books, 1992.
Referências Bibliográficas
84
_______. Administração Teoria Processo e Prática: 2. ed. São Paulo:
Makron Books, 2002.
_______. Recursos Humanos, Edição compacta, 4. ed. São Paulo: Atlas,
1997.
COELHO, I. M. Avaliação institucional na universidade pública. Avaliação,
ano 2, vol. 2, n.. 3(5)- set.1997.
COSTA, Helder Gomes. Introdução ao Método de Análise Hierárquica
(AHP). Campos dos Goytacazes, 2002.
_______. A Análise Multicriério e a Contribuição de Indicadores para a
Classificação do Desenvolvimento Municipal. In. II Seminário Fluminense de
Indicadores, 2001, Rio de Janeiro,
Anais do II Seminário Fluminense de
Indicadores, 2001.
CROSBY, P – Qualidade Falando Sério. SÃO PAULO. McGraw Hill, 1990.
_______. Qualidade é Investimento. Rio de Janeiro. José Olympio, 1994.
_______. Qualidade é Investimento. 3. ed., Rio de Janeiro, José Olimpio
Editora, 1990.
CRUB, Revista Estudos e Debates, n. 14. p. 21 – 46, 1988.
CUNHA, Luiz Antônio. Autonomia universitaria: desafios conceptuales y
políticos, In: Autonomia Universitaria: tensiones y esperanzas, Washington:
OEA, 1986, 61-73 (Serie Universidad, n. 1)
CURY, Carlos Roberto Jamil. Lei de Diretrizes e Bases e perspectivas da
educação nacional. Revista Brasileira de Educação, n.. 8, 1998
_______. A Questão da autonomia universitária. Revista Universidade e
Sociedade, ano 1, n. 2, novembro 1991.
CUSIN, Michel.
El caso francês.
In: VESSURI, H.
La evaluación
academica: enfoques y experiencias. Trad. Luis Manuel Correa Power.
Referências Bibliográficas
85
Paris, UNESCO, Documentos Columbus sobre gestion universitária, 1993, v.
1, p. 56-62.
DAVIDOW,Willian.H.,UTTAAL,BRO.Serviço
Total
ao
Cliente,
Rio
de
Janeiro;Campus, 1991.
DAY,
Crhistopher.
Avaliação
do
desenvolvimento
profissional
dos
professores. In: RODRIGUES, PEDRO (coord.). Avaliações em Educação:
novas perspectivas. Porto:Porto Editora, 1999.
DEMING, W. Edwards. Qualidade: A Revolução na Administração. Rio de
Janeiro, Saraiva, 1990.
DEMO, Pedro. Crise dos paradigmas da Educação Superior. Educação
Brasileira,
CRUB, 15, 1993.
_______. Educação e Qualidade. São Paulo: Papiros Editora,3. ed.1994.
DESORDI, Mara Regina Lemes. Avaliação institucional: o papel do gestor
frente
às
interfaces
da
avaliação
interna
e
externa.
Disponível
em:<www.abmes.org.br/abmes>. Acessado em nov./2002.
DRUCKER, Peter F., Fator Humano e Desempenho. São Paulo: Editora
Pioneira, 2. Edição, 1991.
_______. Inovação e Espírito Empreendedor – Entrepreneurship. São Paulo:
Editora Pioneira, 3. Edilção, 1987.
_______. Sociedade Pós-Capitalista. São Paulo: Editora Pioneira 2. Edição,
1993.
_______. A Prática da Administração de Empresas. São Paulo: Pioneira.
Apud McGragor, D. (1997) Uma Análise Apreensiva da Avaliação de
Desempenho, In:Vroom, Victor H., Gestão de Pessoas, Não de Pessoal – Os
Referências Bibliográficas
86
melhores métodos de motivação de desempenho. Tradução de Rodrigues,
A. B., Celeste, P. M. Rio de Janeiro: Campus, 1981.
DURHAM, E. R. Uma Política para o ensino superior. Documento de
trabalho. São Paulo: NUPES, 1993.
_______.
A institucionalização da avaliação.
In: DURHAM, E.R. e
SCHWARTZMAN, S. (org.). Avaliação do Ensino Superior.
São Paulo:
Editora da Universidade de São Paulo, Coleção Base, v.2, pp.197-207,
1992.
_______, SCHARTZAM, Simon (orgs). Avaliação do ensino superior.
São
Paulo: Editora da Universidade de S. Paulo, 1992 (Coleção Base; v.2 )
FARO, Vitor Henrique. Administração escolar. Introdução crítica. São Paulo:
Cortez, 2002.
FÁVERO, Maria de Lourdes de A. Autonomia universitária: necessidade e
desafios. Cadernos CEDES, n. 22, 1988.
FEIGENBAUM, A. V. Total Quality Control. Nova Iorque, McGraw-Hill, 1998.
FERREIRA, A. S. Reflexões sobre o processo de avaliação de instituições
universitárias. Anais do Seminário Brasileiro sobre Avaliação Institucional
de Universidades, Campinas, São Paulo, 1995.(Anais).
_______. A Gestão Empresarial: de Taylor aos Nossos Dias. São Paulo:
Pioneira, 1997.
FIDALGO,Fernando
Silva.
Qualidade
novas
tecnologias
Educação.in;controle da qualidade total na nova pedagogia do
e
Belo
Horizonte; movimento de Cultura Marxista, 1994 .
_______ . Vinte e cinco anos de reforma universitária: um balanço. In:
Morosini, M. C. (org.) Universidade no Mercosul. São Paulo: Cortez, 1994,
p.149-77.
Referências Bibliográficas
87
FIRME, Thereza Penna. Avaliação: tendências e tendenciosidades. Ensaio,
Rio de Janeiro, v.1, n.2, 1994.
FONSECA, M. O Banco Mundial e a gestão da educação brasileira. In:
OLIVEIRA,
D.A.
A
gestão
democrática
da
educação:
desafios
contemporâneos. Petrópolis: Vozes, 1997
FREITAS, Roberto F.S. Avaliação de Ensino de Graduação: Importância e
desafios. Revista Educacion Superior Y Sociedad , Caracas: CREESALC,
1994.
FREITAS, A.L.P. Costa, H.G. Uma Abordagem Multicritério para avaliação e
classificação
de
serviços.
Niterói:
Anais
do
Encontro
Nacional
de
Engenharia de Produção-ENEGEP (Cd - Rom). 1998(a).
FREITAS, A.L.P. Costa, H.G. Uma Abordagem Multicritério para avaliação e
classificação
de
serviços.
Gestão
e
Produção.,v.5,n.3.,p.272-281.São
Carlos, S.P.: Ed. UFSCAR.1998(b).
_______. Emprego de Uma Abordagem Multicritério na Avaliação e
Classificação
da
Qualidade
de
Serviços.
Dissertação
(Mestrado
em
Engenharia de Produção). Campos dos Goytacazes: Universidade Estadual
do Norte Fluminense – UENF/CCT. 1997.
FRIGOTTO, G. A produtividade na escola improdutiva, S. Paulo: Cortez,
1989.
_______.
alternativa
Educação
e
democrática.
formação
In:
humana:
GENTILI,
ajuste
P.A.A.
&
neoconservador
SILVA,
T.T.
e
(orgs.).
Neoliberalismo, qualidade total e educação. 4 ed., Petrópolis: Vozes, 1996.
GADOTTI, Moacir e ROMÃO, José Corge. Autonomia da Escola: princípios e
propostas. São Paulo: Cortez, 1997.
_______. Concepção dialética da Educação. São Paulo: Cortez Autores
Associados, 1998.
Referências Bibliográficas
GARDINER, Lion F.
88
Verificação e avaliação: conhecendo e julgando
resultados/ Assessment and evaluation: knowing and judging results.
In:
STARK, J.S. e THOMAS, A. Assessment program evaluation, USA-MA, Ashe
Reader Series, p. 65-78. Tradução de Adriana Farah e Renato de Azevedo
Rezende Neto, 1994.
GARDNER, Don E.
Cinco estruturas de avaliação: implicações para
decisões em Educação de nível superior/ Five evaluation frameworks:
implications for decision making in higher education.
In:
STARK, J.S. e
THOMAS, A. Assessment program evaluation, USA-MA, Ashe Reader
Series, p. 7-21. Tradução de Adriana Farah, 1994.
GARVIN, D. Gerenciando a Qualidade. 1. ed. São Paulo: Quality Mark
Editora, 1990.
_______. What does “Product Quality”really mean?
Monagenet
Review.fall 1984.
GOLDEMBERG, S. Thinking Methodologically. New York. Harper Collins,
1993.
GOMES, Luiz Flávio Autran Monteiro. “Tomadas de decisão são facilitadas
com
modelos
matemáticos”.
Disponível
em:
<www.comciencia.br>.
Acessado em 14/10/2002.
_______, GOMES, Carlos Francisco Simões, ALMEIDA, Adiel Teixeira de.
Tomadas de Decisão Gerencial: Enfoque Multicritério. São Paulo: Atlas,
2002.
GRONROOS, Christian. Marketing:Gerenciando Serviços. Rio de Janeiro:
Campus,1995
HADJI,Charls. A Avaliação, regras do Jogo-Das intenções aos rto Ed. 1994.
HARRINGTON, H. J., Aperfeiçoando Processos Empresariais, Makron Books
do Brasil Editora Ltda, 1993.
HOLLAND, O modelo POQ - Administração participativa a caminho da
qualidade. São Paulo: Qualitymark, 1992.
Referências Bibliográficas
89
HOROVITZ, Jaques. Qualidade de Serviço,a Batalha pela Conquista do
Cliente. São Paulo;Nobel,1993.
HOUSE, Ernest R.
Tendências em evaluación, Revista de Educación,
n.299, Madrid, 1994.
ISHIKAWA, Kaoru. Controle de Qualidade Total à Maneira Japonesa. Rio de
Janeiro: Campus, 1991.
_______.
Guide
to
Quality
Control,
Asian
Productivity
Organization,
UNIPUB, Nova Iorque, Nova Iorque, 1976.
JACOBSEN,
Alessandra
de
Linhares.
Avaliação
institucional
em
Universidades. Desafios e perspectivas. Florianópolis: Papa-livro, 1996.
JURAN, J. M. e GRYNA, F. M. Controle da Qualidade – Conceitos, Política e
Filosofia da Qualidade. Vol. 1, 4. ed., São Paulo: Makron/McGraw Hill, s/d.
JURAN, J. M. Juran na Liderança pela Qualidade. São Paulo: Pioneira,
1990.
_______. Juran Planejando para a Qualidade. São Paulo: Pioneira, 1990.
_______. A Qualidade desde o Projeto – Novo passo para o planejamento
de qualidade de produto e servicço. São Paulo: Pioneira, 1990.
_______ e GRYNA, F. M. “Polices and Objectives”, Quality Planning and
Analysis, McGraw-Hill, Nova Iorque, 1980.
KELLER, G. Academic Strategy. Baltimore: The Johns, Hopkins University
Press,
1994.
KOTLER, Philip e FOX, Karen F. Marketing Estratégico para instituições
educacionais. São Paulo: Atlas,1994.
Referências Bibliográficas
_______.
Administração
de
Marketing:
Análise,
90
Planejamento
,Implementação e Controle. São Paulo: Atlas,1995.
LALONDE, Bernard, J.
, Paul H.,
service: meaning and
measurements.
LANDFRIED, Klaus.
The quality assessment system in the German
Universities. [s.l.]:[s.d.]. Disponível no site www.altavista.com.br, acessado
em ago./2002.
LAPA,J.S;Neiva,C.C.
Avaliação
em
Educação:comentários
sobre
desempenho e qualidade.Ensaio,v.4,n. 12,1996.
LAPASSADE,G.(1971).Auto Gestion, n. 13-14.Paris
LEITE, D. Editorial Avaliação, ano 3, vol.3- n.. 2 (8)- jun.1998
LIKERT, Rensis, Novos Padrões de Administração.
São Paulo: Pioneira,
1971.
LOBO, Júlio – Encantando o Cliente Externo e Interno. São Paulo, 1993.
LOVELOCK, Cristhoper e WRIGHT, Lauren. Serviços: Marketing e Gestão.
São
Paulo: Saraiva, 1983
LUCK, Heloísa. “Perspectivas da gestão escolar e implicações quanto à
formação de seus gestores”. Em Aberto. Brasília, v.17, n.72, 2000.
LUCKESI, Cipriano Carlos. Filosofia da Educação. São Paulo: Cortez, 1991.
_______. Universidade , Criação e Produção de Conhecimento. São Paulo:
Cortez, 1989.
_______. Avaliação da aprendizagem escolar: estudos e proposições. 3.
ed., São Paulo: Cortez, 1996.
MACHADO, Edson.
Avaliação de políticas e autonomia universitária: a
visão dos EUA e a do Brasil.
Anais.
Seminário Internacional sobre
Referências Bibliográficas
avaliação no Ensino Superior.
91
Unit – Centro Universitário do Triângulo/
Associação Brasileira de Mantenedoras de Ensino Superior. 1994.
MANSUR, A. L. F. Aplicação de Metodologia ELEQUAL para Avaliação da
Qualidade de Serviços: um estudo de caso. Tese (Mestrado em Ciências de
Engenharia (Engenharia de Produção) – Campos dos Goytacazes – Rio de
Janeiro, Universidade Estadual do Norte Fluminense – UENF. 2000.
MATTAR, Fauze Najielo. Pesquisa de Marketing. Edição compacta. São
Paulo: Atlas,1996.
MAXIMIANO, Antônio César Amareu. Teoria Geral da Administração da
Escola Científica da Competitividade da Economia Globalizada. São Paulo.
Atlas, 1995.
_______. Além da Hierarquia: Como Implantar Estratégias Participativas
Para Administrar Empresa Enxuta. São Paulo: Atlas, 1995.
MEC.
Programa de Avaliação Institucional das Universidades Brasileiras.
PAIUB.MEC/SESU. Brasília: SESU, 1994.
MENDONÇA, Luís Cavalheira de. Participação na Organização: Uma
Introdução aos Seus Fundamentos, Conceitos e Formas. São Paulo: Atlas,
1987.
MENTKOWSKI, Marcia. Criando um contexto onde a avaliação institucional
resulta
em
aprimoramento
educacional/
Creating
a
context
where
institutional assessment yields educational improvement. In: STARK, J.S. e
THOMAS, A. Assessment program evaluation, USA-MA, Ashe Reader
Series, p.251-268. Tradução de Adriana Farah e Renato de Azevedo
Rezende Neto, 1994.
MEYER JR, Victor e MURPHY, J. Patrick (org.).
tigres.
Dinossauros, gazelas e
Novas abordagens da administração brasileira.
Insular, 2000.
Florianópolis:
Referências Bibliográficas
92
MINISTÉRIO DA EDUCAÇÃO. Avaliação do Ensino Superior. Encontro
Internacional. Brasília Secretaria da Educação Superior, 1988.
MIRSHAWKA, V., Criando Valor Para o Cliente, Makron Books do Brasil
Editora Ltda, 1993.
_______, MIRSHAWKA, V. JR., QFD – A Vez do Brasil, Makron Books do
Brasil Editora Ltda, 1994.
_______. Implantação da Qualidade e Produtividade pelo Método do Dr.
Deming. São Paulo, Editora McGraw Hill, 1990.
MOACYR, Primitivo, A Instrução e a República, v. 4, Imprensa Nacional, Rio
de Janeiro, 1942, 71-88 : RANIERI, Nina. Autonomia Universitária. As
Universidades Públicas e a Constituição Federal de 1988. São Paulo:
EDUSP, 1994.
MOGGI, Jair, Administração Participativa e Nível de Identificação com a
Empresa – Um Estudo de Caso. Dissertação de mestrado apresentada na
FEA-USP. São Paulo, 1991.
MOTTA, Paulo Roberto, “Participação Na Gerência: Uma Perspectiva
Comparada”. In Revista de Administração Pública, 15(4): 4-33, 1981.
MOTTA, Fernando Cláudio Prestes. Teoria Geral da Administração: Uma
Introdução. São Paulo: Editora Pioneira, 19. Edição, 1995.
MOURIÑO Mosquera, Juan José. “A universidade e a produção do
conhecimento”. Revista FAMECOS. Porto Alegre: n. 7, novembro 1997,
semestral.
Disponível
em:
<www.pucrs.br/famecos/producao_cientifica/publicacoes_online/revistafame
cos/fam7/universidade.html> Acessado em 12/10/2002.
MYERS, Jonas H e REYNOLDS, Willian H. Gerência do Marketing e
comportamento do consumidor. Petrópolis: Vozes, 1972.
Referências Bibliográficas
NICOLA, Anair Lazzari
e CUNHA, Káthia de Carvalho.
93
Avaliação de
desempenho docente em estágio probatório em uma Instituição Pública de
Ensino Superior. Avaliação. Revista da Rede de Avaliação Institucional da
Educação Superior. ano 5, vol. 5, n. 3 (17), set./2000.p. 47-56.
NOÉ, Alberto.
A relação Educação e Sociedade. Os fatores sociais que
intervêm no processo educativo. Avaliação. Revista da Rede de Avaliação
Institucional da Educação Superior. ano 5, vol. 5, n. 3 (17), set./2000. p. 2127.
_______ . “A educação profissional numa sociedade globalizada”. Revista
Avaliação. Unicamp, ano 5 – vol. 5, n. 1 (15) – Campinas, março 2000a.
_______ “A relação educação e sociedade. Os fatores sociais que intervêm
no processo educativo”. Revista Avaliação. Unicamp, n. 8, Campinas,
abr./jun. 2000b.
OLIBERTO Milton. Energia Emocional-Base para a gerência eficaz. São
Paulo:Makron Books do Brasil, 1997.
PAIUB – Programa de Avaliação Institucional das Universidades Brasileiras.
Avaliação, Campinas, Ano 1, n. 1, 1996.
PALHARINI, Francisco de Assis.
Tormento e paixão pelos caminhos do
PAIUB. Avaliação. Rede de Avaliação institucional da Educação Superior –
RAIES. V. 6, no. 1, mar;/1996.
PARASURAMAN, ZEITHAMI, e BERRY, Journal of Marketing, outono de
1985.
PARASURAMAN, A . et al. ”The Nature and Determimars of Customer
expectations of Service”. Journal of the Academy of Marketing Science, 21
n. 1
1992.
PATERMAN,
Carole,
Participation
and
Democratic
University Press, 1970, citado por MOGGI, op. cit.
Theory.
Cambrige
Referências Bibliográficas
94
PORTER, Michael. Estratégia Competitiva. 9.ed. Rio de Janeiro: Campus,
1991.
RAMOS, Cosete. Excelência da Educação. Rio de Janeiro:Qualitymark
Editora, 1994.
REQUENA, A. T. La evaluación de insticiones educativas: el análises de la
Facultad de Ciências Políticas y Sociologia de la Universidad de Granada.
Serviço de publicaciones de la Universidad de Granada, 1995.
RIBEIRO, Darcy. A Universidade de Brasília. Rio de Janeiro, CBPE,
Separata de Educação e Ciências Sociais, ano 5 - v. 8, no. 15, 34 - 97 p.,
[s.d.]
RIBEIRO, M. J. F. Crise da Universidade brasileira. Anais do Seminário
sobre
pontos
críticos
da
educação
brasileira.
Brasília:
Câmara
dos
Deputados, 1986, (Anais).
RISTOFF, D. I., Avaliação institucional: pensando princípios. In: DIAS
SOBRINHO, J. & BALZAN, N. C. (orgs) Avaliação institucional: teoria e
experiências. São Paulo: Cortez, 1995.
_______. Princípios do Programa de Avaliação Institucional. Avaliação,
Campinas, Ano 1, n. 1, 1996.
_______. Universidade em foco: reflexões sobre a educação superior.
Florianópolis, Insular, 1999.
_______. et al. Avaliação na Universidade Federal de Santana Catarina:
uma proposta de metodologia. Avaliação. Campinas, ano 1, n. 1, 1996.
_______. Privatização não faz escola. Avaliação, vol.2, n.4, RAIES, dez.
1997, Campinas.
Referências Bibliográficas
95
ROMÃO, José Eustáquio. Avaliação qualitativa. Juiz de Fora. Prefeitura de
Juiz de
Fora/SME, 1984
_______. A avaliação dialógica: desafios e perspectivas. 2.ed. São Paulo;
Cortez, 1999.
_______ & GADOTTI, M. A educação e o município: sua nova organização.
Brasília: MEC, 1993.
SANTAFÉ,H.P.G.Jr.Avaliaçãode risco: uma abordagem multicritério.Campos
dos
Goytacazes:
UENF/CCT.(Dissertação
de
Mestrado:
Ciências
de
Engenharia/Engenharia de Produção).
SANTOS, M. O professor como intelectual. Anais IX Encontro Nacional de
Didática e Prática de Ensino. Águas de Lindóia, 1998.
SANTOS, Boaventura de Sousa. Introdução a uma Ciência Pós-Moderna,
4.ed., Porto: Afrontamento, 1994.
SCHWARTZMAN, S. O Ensino Superior no Brasil: A Busca de Alternativa:
Educação Brasileira , 18(37) - 2. SEMESTRE, 1996.
_______. Dificuldade de se construir um ranking para as universidades
brasileiras. Ensaio , v.3, n..6, 5-28, Rio de Janeiro, 1995.
_______. O Futuro da Educação Superior no Brasil, in PAIVA, Vanildd.
Dilemas do Ensino Superior na América Latina. Campinas: Papirus.
_______.
Funções e metodologias da avaliação do Ensino Superior.
Documento de Trabalho, NUPES, s.d.
_______. Problemática da avaliação educacional: excelência acadêmica e
maturação institucional. Texto apresentado no “Encontro para discussão da
metodologia de avaliação de impacto de programas de investimento em
instituições de ensino superior”, promovido pelo Centro de Desenvolvimento
e Apoio Técnico à Educação (CEDATE), realizado em Brasília, 1986.
96
Referências Bibliográficas
SELL, G. Roger. Uma perspectiva de organização para a prática eficaz da
avaliação/ Na organizational perspective for the effective practice of
assessment.
In:
STARK,
J.S.
e
THOMAS,
A.
Assessment
program
evaluation, USA-MA, Ashe Reader Series. Tradução de Adriana Farah e
Renato de Azevedo Rezende Neto, 1994.
SENGE, P. As cinco disciplinas. Entrevista a Mercedes Reincke. São Paulo,
n.9, 1998.
_______. A Quinta Disciplina: Arte, Teoria e Prática da Organização de
Aprendizagem. São Paulo: Editora BestSeller, 9. ed, 1994.
SGUISSARDI,
Valdemar.
(org).
Reformas
Estado
da
do
e
Avaliação
Educação
universitária
Superior.
em
questão.
Campinas:
Autores
Associados, 1997.
_______.
O desafio da Educação Superior no Brasil: quais são as
perspectivas? Avaliação. Rede de Avaliação institucional da Educação
Superior – RAIES. V. 5, no. 2, 1996.
_______ . Universidade, Fundação e Autoritarismo. O Caso da UFSCAR.
São Carlos: EDUFSCAR, 1993.
SILVA, Tomaz Tadeu da. A "nova" direita e as transformações na pedagogia
política e na política. In: GENTILI, P. A.A. e SILVA, T. T. da (orgs.)
Neoliberalismo, Qualidade Total e Educação. Petrópolis: Vozes, 1994, p. 1129.
SLACK,N. et al: Administração da Produção.São Paulo: Atlas 1995.
_______. Administração da Produção, São Paulo: Atlas, 1996.
SOBRINHO,
José
Dias.
Avaliação
quantitativa,
avaliação
qualitativa:
interações e ênfases. In: José. Pós-Graduação, escola de formação para o
magistério superior. Universidade e Sociedade. Revista da ANDES, [s.I],
n..7, 1994. (Mimeog)
Referências Bibliográficas
97
_______. Avaliação Institucional da UNICAMP; Processo, Discussão e
Resultados. Campinas, São Paulo: UNICAMP, 1994.
_______. Avaliação Institucional: marco teórico e campo politíco. Avaliação,
Campinas, Ano 1, n.1, 1996.
_______. Avaliação Institucional da educação superior: fontes externas e
fontes internas. Avaliação, Campinas, v.3, n. 34, 1998.
_______ e RISTOFF, D. e TRINDADE, H. et al, Avaliação, ano I, n. 1.
RAIES, Campus, julho de 1996.
_______. Avaliação institucional: a experiência da UNICAMP – condições,
princípios, processo.
Anais do Seminário Brasileiro sobre Avaliação
Institucional de Universidades. Campinas, São Paulo, 1994. (Anais).
_______. Avaliação da educação superior. Petrópolis: Vozes, 2000.
_______.
Concepções de universidade e de avaliação institucional.
Avaliação. Revista da Rede de Avaliação Institucional da Educação
Superior. Ano. 4, vol. 4, no. 2 (12), jun./1999. p. 29-40.
_______ e RISTOFF, Dilvo. Avaliação Democrática Para uma universidade
Cidadã. Florianópolis: Insular, 2002.
_______ e RISTOFF, Dilvo: “Universidade Desconstruída. Avaliação e
Resistência. Florianópolis. Insular. 2000.
SORDI, M.R.L. Usos e desusos da avaliação na contemporaneidade.
Proposições. (prelo)
_______. Avaliação institucional: o papel do gestor frente às interfaces da
avaliação interna e externa. Estudos. Revista da Associação Brasileira de
Mantenedoras de Ensino Superior. ano 17, no. 24, jun./1999, p. 91-98.
SOUSA, Eda C.B. Machado de.
Avaliação institucional: a experiência
americana e a experiência brasileira. Anais. Seminário Internacional sobre
Avaliação no Ensino Superior, Unit – Centro Universitário do Triângulo/
98
Referências Bibliográficas
Associação Brasileira de Mantenedoras de Ensino Superior, realizado em
Uberlândia, Minas Gerais, nos dias 22 a 24 de outubro de 1997.
SPANBAUER, Stanley J. A Quality System for Education: Using Quality and
Productivity Techniques to Save Our Schools. EUA, ASQC Quality Press,
1992.
TACHIZAWA, Takeshy e ANDRADE, Rui Otávio Bernardes de. Gestão de
instituições de ensino. Rio de Janeiro: Fundação Getúlio Vargas, 2001.
TEBOUL, J –Gerenciando a dinâmica da qualidade. Qualitymark, 1991.
TEIXEIRA, Anísio. Ensino Superior no Brasil. Rio de Janeiro: Fundação
Getúlio Vargas, 1989.
TRAMONTIN, Raulino.
desenvolvimento.
Ensino superior: uma agenda para repensar seu
Texto para discussão no. 388. Rio de Janeiro: IPEA,
out./1995.
TRIGUEIRO,
Michelangelo
Giotto
S.
Indicadores
de
Universidade – um desafio para a avaliação institucional.
qualidade
na
Universidade.A
busca da qualidade. No. 6, 1994.
_______.
Governo
da
Universidade.
Revista
Brasileira
de
Estudos
Pedagógicos, 1977.
TRINDADE, H. O novo contexto da avaliação nas Universidades Federais.
Pro-Posições 6(1), 1995.
_______.
Projeto de
avaliação
institucional da
ANDIFES,
Educación
superior y sociedad. UNESCO – CRESALC. v. 5, n. 1 y 2, 1994.
_______. La evaluacion de stitucionnos educativas el análises de la
Facudad de Ciências Políticas y sociologia de la Universidad de Granada
1995.
TUBINO, Manoel José Gomes. Universidade, qualidade e avaliação. Rio de
Janeiro: Qualitymark /Dunya, 1997.
Referências Bibliográficas
UNIVERSIDADE DO ESTADO DE SANTA CATARINA.
Ensino.
99
Pró-Reitoria de
Projeto: a proposta de avaliação institucional da Universidade do
Estado de Santa Catarina. Elaboração: Astrogilda Maria Schappo Celeste
et al. Florianópolis: UESC, 1995, 3.vol.
UNIVERSIDADES
PORTUGUESAS.
Avaliação
do
desempenho
as
universidades Coimbra Documenta, n. 1, 1996.
VAHL, Theodoro. Algumas Reflexões sobre a Política
de Ensino Superior
no Brasil. In Liderança e Administração na Universidade. Florianópolis, UF
SC 1991.
VALERIANO, Dalton L, Gerenciamento Estratégico e Administração por
ProjetosSão Paulo: Makron Books, 1994.
VAVRA, Terry G. Marketing de relacionamento. São Paulo: Atlas,1993.
VIEIRA, Sofia Lerche. A Universidade Federal em Tempos Sombrios.
Revista Universidade e Sociedade, ano 1, n. 2, 1991.
WALTON, M. O Método Deming na Prática. Rio de Janeiro: Campos, 1992.
WOLFF, Laurence. Avaliações educacionais – uma atualização a partir de
1991 e implicações para a América Latina. In: BONEMY, Helena (org.).
Avaliação e determinação de padrões na Educação latino-americana.
Rio
de Janeiro: Fundação Getúlio Vargas, 1997.
WOLYNEC, E. “O uso de indicadores de desempenho para a avaliação
institucional”. In: DURHAM, Eunice R. e SCHWARTZMAN, Simon (org.).
Avaliação do Ensino Superior. São Paulo: Universidade de São Paulo, 1992.
XAVIER, A.C.R. Em busca de um novo paradigma gerencial para as
instituições de ensino superior: a gestão da qualidade total. Estudos.
Brasília: Abmes, 15, 1996.
Referências Bibliográficas
100
ANEXO I
DESCRIÇÃO DO MÉTODO ELECTRE TRI
O método ELECTRE TRI ( Yu (1992), Roy e Boyssou (1993) e Mousseau et al
(1999)) utilizadO neste trabalho, também pertence a família ELECTRE
caracteriza-se
por
ser
essencialmente
classificação de alternativas,
utilizado
em problemas
e
de
busca-se atribuir alternativas em categorias
preestabelecidas. O procedimento de atribuição de uma alternativa a resulta
da comparação da mesma com os valores padrões que definem os limites
superiores (upper bounds) e inferiores (lower bounds) das categorias, ou
seja: dado um conjunto de A alternativas, desejamos classificá-las em
subconjuntos específicos ou classes ordenadas A 1 , A 2 ......A n .
Esta classificação é feita considerando:
•
•
•
A análise do desempenho das alternativas à luz de um conjunto de
critérios F
A avaliação da importância dos critérios pertencentes a F
Classes de equivalência, definidas por limites superiores e inferiores
de desempenho das alternativas em cada critério. Estes limites são
denominados limites das classes. É necessário definir o conjunto B
dos valores padrões que delimitam as p + 1 categorias ( B= {1, 2,...,
p} ), no qual b
h
é o valor do limite superior da categoria C
valor do limite inferior da categoria C h+1 ,
estruturação está ilustrada pela figura 1.
h
e o
h = 1, 2, ..., p. Esta
Anexo-l Descrição do Método Electre Tri 101
Categoria
Limites
C1
B1
C2
B2
C3
.
.
.
.
.
Bp
Cp+1
Figura 1: Categorias e limites no método ELECTRE TRI
O ELECTRE TRI constrói uma relação de subordinação S, isto é, confirma ou
não confirma a afirmação de que a S b
h
(e b
h
S a), que significa que “a é ao
menos tão boa quanto b h ”. As preferências restritas em cada critério são
definidas através de pseudocritérios detalhados na representação de
preferência de limites inferiores e superiores. Os limites de indiferença e de
preferência (q j ( b
h
)e
p j (b
h
)) constituem a informação preferencial sobre
o critério. Eles analisam a natureza imprecisa das avaliações g
Enquanto, q j (b
h
) especifica a maior diferença g j (a) – g j (b
a indiferença entre a e b
diferença g
j
(a) – g
j
(b
h
h
)
no critério g
j
, p
j
(b
h
)
h
j
(a).
) que preserva
representa a menor
compatível com a preferência a favor de a no
critério g j .
No nível compreensível de preferências, a ordem para validar a afirmação a
Sb
•
h
(ou b
h
S a ), deve verificar duas condições:
Concordância: para uma ordenação onde a S b
h
(ou b
h
S a) seja aceita,
uma maioria suficiente de critérios deve ser a favor desta afirmação.
Anexo-l Descrição do Método Electre Tri 102
•
Não - discordância: quando na condição de concordância esperada,
minoria suficiente de critérios, deve se opor à afirmação a S b
h
(ou b
h
S
a).
Dois tipos de parâmetros preferenciais de critérios intervém na construção de
S:
•
O conjunto de coeficientes dos pesos - importância (k 1 , k 2 , ..., k m ) é usado
no teste de concordância quando computam a importância relativa da
união dos critérios que são a favor da afirmação a S b
•
O conjunto de limites de veto (v 1 (b
h
h
), v 2 (b h ), ..., v m (b
h
)), ∀h∈B, é usado
no teste de discordância. V j (b h ) representa a menor diferença g j (b h ) – g
j
(a) incompatível com a afirmação a S b h .
Fundamentado nos princípios da concordância e da não discordância, este
método estabelece um índice σ(a, b h ) (σ (b h , a) ∈[0, 1] que representa o
grau de credibilidade de uma relação de subordinação S. Ou seja: esta
relação valida ou não a afirmação a S b h , a qual significa “a subordina b h “
(“b
h
subordina a”, respectivamente). De maneira breve, o algoritmo para
determinar σ(a, b h ) consiste nas etapas (Mousseau e Slowinski, 1998):
Em síntese, no método ELECTRE TRI, uma relação de subordinação é
construída para tornar possível a comparação de uma alternativa a com um
limite padrão b n . Esta relação de subordinação é construída através dos
seguintes passos:
Computar o índice de concordância parcial c j (a, b h ) e c j (b h , a),
Computar o índice de concordância global c(a, b h ),
Computar o índice de discordância parcial d j (a, b h ) e d j (b h , a),
Computar a relação de subordinação fuzzy conforme o índice de
credibilidade σ(a, b
h
),
Determinar um nível de corte-λ da relação fuzzy para obter uma relação
de subordinação.
Anexo-l Descrição do Método Electre Tri 103
2- Índice de concordância parcial
O índice de concordância parcial c
j
(a, b
afirmação “a é ao menos tão boa quanto b
h
h)
expressa até que ponto a
considerando o critério “g j ” é
válida.
Quando g j tem uma direção de preferência crescente, C j (a, b n ) é computado
como segue:
Se g j (a) ≤ g j (b h ) – p j (b h ), então c j (a, b h ) = 0
Se g j (b n ) – pj ( b n ) < g j ( a ) ≤ g j (b n ) – q j (b n ),
Então c j (b h , a) = [g j (a) - g j (b h ) + p j (b h )]
p j (b h ) - q j (b h )]
Se g j (b h ) – q j (b h ) < g j (a), então c j (a, b h ) = 1
Quando g j tem uma direção de preferência decrescente, C j (a,b n ) é computado
como se segue:
Se g j (a) >
g j (b h ) + p j (b h ), então c j (a, b
h
)=0
Se g j (b n ) + q j ( b n ) ≤ g j ( a ) ≤ g j (b n ) + p j (b
n
então c j (a ,b n ) = [g j (b n ) - g j (a) + p j (b h )]
p j (b h ) - q j (b h )]
Se g j (b h ) +q j (b h ) >g j (a), então c j (a, b h ) = 1
),
Anexo-l Descrição do Método Electre Tri 104
3- Índice De Concordância Global
O índice de concordância global cj (b n , a ) expressa até que ponto as
avaliações de a e b n em todos os critérios estão de acordo com a afirmação
“a subordina b n ”
c j (a, b h ) =
Σ j∈F k j c j (a, b h )
Σ j∈F k j
Σ j∈F k j c j (b h , a)
c j (b h , a) =
Σ j∈F k j
4- Índice De Discordância
O índice de discordância parcial d j (a, b h ) expressa até que ponto o critério g j
se opõe à afirmação “a é ao menos tão boa quanto b n ”, isto é, “ a subordina
b n ” .Um critério g j é considerado discordante com a afirmação “a subordina
b n ” se, neste critério, b n é preferida à
a . Neste caso de preferência
crescente, o critério g j se opõe a um veto quando a diferença g j ( b n ) – g j (a)
excede ao limite de veto v j ( b n ).
Quando gj tem uma direção de preferência crescente. D j (a,b n ) é computado
como se segue:
Se g j (a) >g j (b h ) - p j (b h ), então d j (a,b n ) = 0
Se g j (b n ) - v j ( b n ) < g j ( a ) ≤ g j (b n ) -p j (b
n
),
então d j (a ,b n ) = [g j (b n ) - g j (a) - p j (b h )]
[v j (b h ) - p j (b h )]
Se g j (b n ) - v j (b h ) ≥ q j (a), então d j (a, b n ) = 1
Quando gj tem uma direção de preferência decrescente, dj (a,b n ) é
computado como se segue:
Anexo-l Descrição do Método Electre Tri 105
Se g j (a) ≤ g j (b h ) + p j (b h ), então d j (a,bn) = 0
Se gj(b n) + p j ( b n) < g j ( a ) ≤ g j(b n) + v j(b n ),
então d j (a ,bn) = [g j (a) - g j (bn) - p j (b h )]
[v j (b h ) - p j (b h )]
Se g j (b n ) + v j (b h ) <g j (a), então d j (b n ,a) = 1
5- Relação de subordinação fuzzy conforme o Índice De Credibilidade
O grau de credibilidade da relação de subordinação σ(a, b h ) expressa até que
ponto” a subordina b n ” de acordo com o índice de concordância global cj
(
a,bn) e com o índice de discordância dj( a, b n ) , ∀ jΕF. Calcula-se o índice de
credibilidade σ (a, b h
) )
e σ( b n , a ) somando-se os valores estabelecidos na
relação de subordinação.
O Cálculo do índice de credibilidade σ(a, b h ) é de acordo com os seguintes
princípios:
1- Quando nenhum critério for discordante, a credibilidade da relação
de subordinação σ(a, b h ) é igual ao índice de concordância σ(a, b h )
2- Quando um critério discordante se opõe ao veto para a afirmação “a
subordina b n ” ( isto é, dj ( a, b n ) = 1 ) , então o índice de
credibilidade σ(a, b h ) torna-se nulo ( a afirmação “a subordina b n ”
não é totalmente acreditável).
3- Quando um critério discordante é tal como c( a b n ) < dj ( a, b n ) < 1,
o índice de credibilidade σ(a, b h ) torna-se mais baixo do que o
índice de concordância c( a,b n ), sendo justo o efeito de oposição
deste critério.
Anexo-l Descrição do Método Electre Tri 106
Conclui-se
destes
princípios
que
o
índice
de
credibilidade
σ(a,
b h)
corresponde ao índice de concordância fraca por um eventual efeito de veto.
Mais precisamente, o valor σ(a, b h ) é calculado como se segue (σ (b n a) é
calculado similarmente):
σ(a, b h ) = c(a, b h ) Π j∈F 1 - d j (a, b h ),
1 – c(a, b h )
onde F = {j∈F/ d j (a, b h ) > c(a, b h )}
6- Nível De Corte-λ Da Relação Fuzzy Para Obter Uma Relação De
Subordinação.
A tradução de uma relação de subordinação fuzzy obtida entre uma relação
de subordinação S é feita sobre o significado de um corte λ ( λ é considerado
como o menor valor do índice de credibilidade compatível com a afirmação de
que “a subordina b h ”, isto é , σ(a, b h ) ≥ λ ⇒ aSb h . Assim, são definidas
relações binárias > (preferência), I (indiferença) e R (incomparabilidade)
como se segue:
•
aIb h ⇔ aSb h é b h Sa
•
a < b h ⇔ não aSb h e b h Sa
•
•
a > b h ⇔ aSb h e não b h Sa
aRb h ⇔ não aSb h e não b h as
7- Dois procedimentos de classificação são avaliados.
A regra do procedimento de exploração é realizada para analisar o modo que
uma alternativa a é comparada com os limites padrão determinados para a
classe na qual a deve ser enquadrada.
Anexo-l Descrição do Método Electre Tri 107
7.1 - Procedimento de classificação pessimista (ou conjuntivo):
1. Comparar a sucessivamente com b i, para i = p, p
– 1,
..., 0.
2. Que b h seja o primeiro limite padrão tal que aSb h .
3. Atribui a à classe C h+1 (a → C h+1 ).
A direção de subordinação obtida pelo procedimento pessimista é da melhor
para a pior, ou seja, se b n-1 e b n denotam o limite superior e inferior da classe
C n , o procedimento pessimista classifica a alternativa a para a mais alta
classe C n tal que a subordine b n-1 , isto é, a Sb n-1 .Quando se utiliza este
procedimento com
λ = 1, uma alternativa a pode ser enquadrada na classe
C n somente se gj(a) for igual ou exceder gj(b n-1 ) ( pela soma dos limites) para
cada critério ( regra conjuntiva). Quando λ decresce, o carater conjuntivo
desta regra é fraco.
7.2- Procedimento de classificação otimista (ou disjuntivo):
1. Comparar a sucessivamente com b i, i=1, 2, ..., p.
2. Que b h seja o primeiro limite padrão tal que b h > a.
3. Atribui a à classe C h (a → C h ).
Neste caso, a direção de subordinação obtida vai da pior para a melhor. Ou
seja, o procedimento otimista (ou disjuntivo) classifica a para a mais baixa
classe C n para a qual o limite superior de b n é preferível a a, isto é b n > a .
Quando se utiliza este procedimento com λ = 1, uma alternativa a pode ser
classificada na classe C n quando gj(b n ) exceder gj(a) ( pela soma dos limites)
ao menos para um critério ( regra disjuntiva). Quando λ decresce, o caráter
disjuntivo desta regra é fraco.
Anexo-l Descrição do Método Electre Tri 108
7.3- Comparação Entre Os Dois Procedimentos De Classificação:
Sendo estes dois procedimentos diferentes, conseqüentemente, pode ocorrer
a classificação de algumas alternativas em diferentes classes. O exemplo
seguinte explica, num nível teórico, a razão da possibilidade de divergência
dos resultados de classificação.
Suponha-se que uma alternativa a é classificada em Ci e Cj pelas regras de
classificação pessimista e otimista, respectivamente. Espera-se:
Que Ci seja inferior ou igual a Cj( i ≤ j )
Que Ci seja inferior a Cj quando a é incomparável com todos os limites
entre Ci e Cj ( aRbt, ∀f, tal que i < f ≤ j)
Em resumo:
Quando as avaliações de uma alternativa forem entre os dois limites de
uma classe em cada critério, então, ambos os procedimentos classificam
esta alternativa para esta classe.
Uma divergência existe entre os resultados dos dois procedimentos de
classificação somente quando uma alternativa é incomparável para um ou
vários limites; em tais casos, a regra de classificação pessimista classifica
a alternativa na classe mais inferior que a otimista classifica.
7.5- Consistência Na Definição Das Categorias
As classes ordenadas p+1 C 1 , C 2 , ... C p+1 são definidas no ELECTRE TRI
por p limites b 1 ,b 2 , ... b p , sendo b n o limite superior da classe C h e o limite
inferior da classe C h+1 , h=1,2,...,p. Para definir as classes consistentemente,
os limites devem respeitar as duas seguintes condições:
Anexo-l Descrição do Método Electre Tri 109
1º. Condição :
∀j ∈ F, ∀h = 1... p-1, g ( b n +1) ≥ gj(b n )
Esta condição estabelece que as classes devem ser ordenadas. Como o
ELECTRE TRI considera classes ordenadas, não é possível usar o método se
esta condição não for cumprida.
2º. Condição :
∀j ∈ F, ∀h = 1... p-1, g ( b n+1 ) – pj(b n+1 )≥ gj(b n ) + pj(b n )
Para definir as classes “distinguíveis”, é razoável impor que nenhuma
alternativa possa ser indiferente a mais de um limite, isto é, ∀aΕA, ∀h=1...p1,ab n ⇒[não ab n+1 a não ab n-1 ] ( uma situação em que ab n e ab n+1
significarão implicitamente que a classe que foi delimitada pelos limites b n e b
n+1
é insuficientemente grande”. Esta condição assegura o preceito de
prosperidade na utilização do método. Em outras palavras, é possível aplicar
o ELECTRE TRI com
limites que não cumpram a condição 2, mas nestes casos, algumas
alternativas podem ser indiferentes para dois limites consecutivos.
7.6- Considerações Gerais
Qualquer Que Seja o Procedimento De Classificação Utilizado, Os Sete
Requisitos Seguintes Devem Ser atendidos:
•
Nenhuma alternativa pode ser indiferente a mais de uma categoria.
•
Cada alternativa deve ser designada para somente uma categoria
(unicidade).
Anexo-l Descrição do Método Electre Tri 110
•
A associação de qualquer uma das alternativas sua categoria dividida não
é
dependente
na
associação
de
quaisquer
das
outras
opções
(independência).
•
O procedimento de designar alternativas para categorias deve ser
inteiramente
consistente
com
o
propósito
de
auto-referenciar
as
alternativas (conformidade).
•
Quando duas opções têm a mesma relação de classe com uma dada
categoria,
elas
devem
ser
designadas
para
a
mesma
categoria
(homogeneidade).
•
A opção a subordina b, então a deve ser designada para a categoria que é
pelo menos tão boa quanto aquela para a qual a é designada
(monotonicidade).
•
O agrupamento de duas categorias vizinhas não deve causar alteração
das
alternativas
(estabilidade).
para
as
categorias
não
afetadas
pela
alteração
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
Julgamento de valor quanto ao desempenho da IES "X" no Período de
2001/1, sob a ótica Dicente
CR 1 CR 2 CR 3 CR 4 CR 5 CR 6 CR 7 CR 8 CR 9 CR 10
4
4
3
5
3
3
5
4
3
2
2
3
3
1
3
2
4
4
4
4
4
4
2
3
4
4
4
4
4
4
5
3
3
3
5
4
4
3
3
4
4
2
3
4
4
3
5
3
3
3
1
1
3
3
5
5
5
5
5
5
5
5
5
5
4
5
4
5
4
5
3
3
4
4
3
4
3
2
2
5
5
4
4
4
3
4
4
4
4
4
5
5
5
5
4
4
5
4
2
4
3
3
3
3
4
4
2
3
3
4
1
5
5
5
4
3
3
5
4
5
4
3
3
4
4
5
5
4
4
5
5
5
5
5
5
3
3
4
5
1
4
3
5
5
2
3
4
3
3
3
3
2
3
3
2
2
2
2
2
2
2
3
3
3
3
4
3
1
3
4
3
3
2
2
3
3
5
4
3
2
3
2
3
3
5
3
4
3
4
1
2
1
4
1
4
4
3
2
5
5
4
5
3
4
5
5
5
3
4
5
3
2
2
4
5
5
4
4
4
4
4
4
4
4
4
3
3
2
4
3
5
3
4
4
4
4
4
4
4
5
4
4
5
4
5
5
4
5
4
5
5
5
5
5
5
4
3
4
3
4
2
4
4
3
5
3
3
4
4
4
3
3
2
5
2
1
4
3
3
5
4
4
5
4
5
5
5
5
5
5
5
5
3
5
4
3
4
3
3
3
4
4
3
5
5
5
4
3
5
5
2
2
3
4
4
3
4
3
5
3
4
4
5
5
4
4
4
5
4
5
4
4
4
5
5
5
5
5
4
1
5
5
4
2
3
5
3
5
5
3
2
4
3
3
3
1
4
4
3
3
5
5
5
3
3
4
3
5
5
5
4
4
5
3
4
4
4
4
5
3
3
4
4
1
2
4
5
3
2
2
4
2
1
1
2
1
5
4
4
5
1
4
5
4
5
4
4
4
5
4
5
5
4
4
4
4
5
5
4
4
4
5
5
4
5
5
4
2
5
4
5
4
3
2
4
4
1
3
2
5
5
5
5
5
4
4
5
5
5
5
2
3
3
4
2
2
5
5
3
4
2
1
5
2
4
5
4
3
3
3
4
5
4
3
5
3
4
4
4
3
4
5
5
4
3
3
4
3
3
2
5
4
4
4
5
5
4
4
3
5
4
5
4
5
4
5
5
3
4
5
5
2
3
4
4
4
5
5
4
4
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
5
4
4
3
4
2
2
4
4
4
5
4
4
5
3
5
3
4
4
5
4
5
4
4
2
2
3
3
4
4
5
4
4
5
4
1
4
4
4
3
3
5
4
3
3
3
4
3
3
4
3
4
5
4
5
4
4
4
4
4
2
2
4
4
4
5
4
4
4
4
4
5
4
4
2
4
4
4
4
4
2
2
2
3
3
4
4
4
3
5
4
1
5
4
5
4
4
5
4
4
3
3
3
3
5
5
3
4
4
4
5
4
3
4
3
2
4
3
1
4
4
5
4
4
4
4
2
5
4
4
2
4
5
3
3
4
1
2
1
3
4
4
3
4
5
5
5
1
4
4
5
4
4
4
4
3
4
3
4
3
5
5
3
4
4
4
5
3
5
5
3
4
5
2
3
4
3
4
5
4
3
3
3
1
2
5
3
5
5
5
5
4
1
1
5
4
1
3
4
4
4
5
4
1
3
4
5
4
3
3
4
4
3
4
3
2
5
2
3
4
5
4
4
5
5
3
3
3
2
1
1
4
5
3
5
3
4
3
1
4
3
3
1
5
5
4
4
3
3
1
2
4
3
1
3
4
2
4
3
1
2
3
4
3
1
5
3
4
2
1
2
5
2
4
4
3
2
3
3
3
5
5
2
1
3
2
1
3
5
4
5
3
4
5
2
5
2
3
2
5
2
4
4
3
3
1
2
5
4
4
5
4
4
4
4
1
5
5
5
3
2
5
3
3
4
3
4
4
5
5
2
4
3
4
4
3
5
2
2
4
2
2
3
3
4
5
2
4
3
4
2
1
2
4
2
5
4
5
4
3
5
2
3
5
4
4
5
4
4
4
5
1
5
3
1
3
5
3
4
4
4
2
4
4
2
5
2
4
3
4
4
4
5
3
3
3
5
2
2
4
5
4
5
4
5
4
3
5
4
5
2
5
5
5
4
4
3
3
1
3
3
5
4
5
4
4
5
1
3
4
5
3
4
5
4
3
3
4
4
4
5
5
4
3
5
4
4
4
4
3
3
3
5
1
2
4
5
5
4
4
5
3
2
5
4
4
1
4
4
5
5
3
1
2
1
3
4
4
5
5
4
5
5
1
4
4
5
5
5
5
4
3
4
4
4
2
4
4
4
3
3
4
5
4
5
4
3
3
4
3
2
4
5
5
5
4
4
4
4
5
4
4
2
5
4
5
4
4
2
2
1
4
4
5
4
4
4
5
5
1
4
4
5
4
5
4
4
4
3
4
4
3
5
4
5
4
5
4
4
4
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
4
3
4
5
1
3
4
3
3
4
4
4
4
4
3
4
3
3
4
4
3
4
5
4
4
3
3
5
4
4
4
5
4
3
3
2
3
3
3
3
5
4
4
3
4
5
4
4
4
4
3
3
4
5
3
5
5
2
4
5
1
2
4
3
3
4
4
4
4
4
3
4
3
3
4
4
3
5
5
4
4
2
3
4
3
5
4
4
4
4
3
3
3
2
2
4
5
4
4
3
4
5
4
4
5
4
3
5
4
5
4
4
4
2
4
4
3
3
4
3
4
4
4
5
3
4
3
4
3
3
5
4
2
4
4
3
4
2
4
4
4
5
4
4
4
3
2
1
2
2
1
3
5
4
5
4
4
5
5
3
2
3
4
5
3
5
4
5
4
3
5
5
4
5
5
3
3
5
2
5
4
4
4
2
4
2
5
5
4
5
5
1
4
2
3
2
2
4
3
5
4
3
4
5
4
2
4
5
5
4
5
4
4
3
2
3
3
4
3
5
5
5
3
5
2
3
1
1
1
5
5
3
4
3
1
4
2
4
1
1
1
3
4
4
3
2
4
5
4
3
1
4
3
5
4
2
3
3
2
3
3
2
1
3
4
2
4
2
4
4
2
3
1
4
2
4
4
4
2
1
5
2
5
4
1
4
5
3
4
4
2
2
2
3
4
3
2
3
4
5
4
4
5
4
4
3
2
2
4
5
3
3
4
4
4
4
2
1
2
5
5
2
5
1
4
5
2
3
5
5
1
4
4
5
3
4
5
3
5
4
1
4
3
3
1
5
1
4
3
5
4
4
2
3
3
4
1
3
5
4
5
4
3
5
4
5
4
3
4
3
4
3
1
2
3
5
5
5
5
4
4
5
1
3
5
4
2
4
5
5
5
3
5
4
3
4
4
2
5
4
3
5
3
5
3
4
4
3
3
3
5
5
3
5
4
1
5
3
4
4
3
4
5
5
4
4
3
2
4
2
1
3
4
4
5
5
4
5
5
4
3
3
4
5
4
5
4
5
5
4
5
4
3
2
5
3
4
5
3
4
4
3
4
3
4
3
5
5
3
5
5
3
5
2
4
5
4
3
5
5
4
4
4
2
4
2
1
3
5
5
5
5
4
5
4
3
2
3
4
5
4
5
5
5
5
4
4
4
2
4
5
3
2
5
3
4
4
4
3
3
3
3
5
4
3
4
5
3
5
3
4
4
4
4
4
4
4
4
4
3
3
3
1
4
5
4
5
4
4
5
4
3
3
3
3
5
5
5
4
5
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
4
4
3
5
4
2
5
5
4
2
3
1
5
5
4
4
4
4
4
4
4
3
4
4
3
3
4
3
3
3
3
4
1
3
3
5
5
4
4
2
5
3
4
4
2
3
4
4
3
4
4
1
4
5
4
4
4
3
3
5
4
4
5
5
4
3
3
1
4
5
4
4
4
4
4
4
3
4
4
4
3
3
4
4
3
2
3
5
1
3
3
5
5
5
4
3
5
4
4
4
2
3
3
4
4
4
3
1
4
4
4
3
4
2
3
5
3
4
5
5
4
3
1
1
5
5
3
4
5
4
2
3
3
4
4
5
3
3
5
1
3
3
3
4
4
2
3
5
4
5
5
4
5
2
4
3
3
3
3
3
4
4
3
3
4
4
3
4
4
4
3
4
4
2
5
5
4
4
2
1
4
5
4
4
2
3
3
5
2
5
4
5
3
3
4
2
3
4
3
3
2
4
4
5
4
5
3
5
5
2
3
5
2
3
4
4
4
5
3
1
4
5
5
4
3
4
1
3
1
2
1
4
1
2
4
1
3
4
2
5
1
2
1
5
5
5
1
3
2
1
1
3
2
5
3
3
5
4
2
4
5
1
5
2
5
4
4
4
4
1
5
3
5
3
1
1
3
5
2
4
5
5
2
5
2
1
5
5
5
2
1
1
3
5
5
5
5
4
5
4
5
4
3
4
4
3
4
5
2
5
4
2
3
3
1
4
5
3
5
2
5
3
5
4
2
3
3
4
3
4
3
4
3
5
3
3
4
4
2
4
3
5
5
5
5
5
1
1
4
4
5
4
1
4
3
2
5
5
4
4
5
3
3
5
3
5
4
1
1
2
2
4
4
4
4
2
5
4
5
4
1
3
5
5
5
4
4
5
3
5
4
4
3
3
3
5
3
3
5
5
4
4
1
1
4
5
3
5
3
4
4
4
3
5
3
5
1
5
5
4
4
4
4
5
4
3
3
5
5
4
5
3
5
4
4
4
4
2
3
4
5
5
4
2
4
4
5
4
4
3
3
5
4
1
5
5
5
3
2
1
5
5
3
5
5
4
5
5
2
4
4
5
3
5
5
3
4
4
3
5
5
4
3
5
5
5
5
3
5
5
4
4
4
3
3
4
5
5
3
4
5
5
4
4
4
3
3
4
3
4
5
5
4
3
2
1
5
4
4
5
4
4
4
5
3
4
4
5
3
5
5
3
4
4
3
4
3
4
3
5
5
4
5
3
5
4
4
4
4
2
4
4
4
4
4
3
4
5
4
4
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
3
5
3
2
5
4
3
4
4
5
5
4
3
3
5
5
5
2
3
5
5
1
2
5
5
5
5
4
4
4
4
5
3
5
5
4
4
4
5
4
3
4
3
3
5
4
5
4
3
3
5
4
5
5
3
4
3
5
4
2
3
4
3
3
4
4
5
4
3
4
5
4
4
1
3
5
5
3
2
5
5
4
4
3
3
4
4
5
2
4
5
4
4
3
5
4
1
4
3
3
5
4
4
3
2
3
4
3
2
5
3
4
3
4
2
3
4
3
2
4
5
5
5
4
3
4
5
4
4
1
2
5
5
3
2
5
5
4
4
3
3
3
4
3
2
4
5
4
3
4
5
3
3
4
3
3
5
3
4
3
2
5
4
2
3
5
3
4
3
5
2
1
5
3
5
4
5
5
4
4
3
5
5
5
5
4
2
5
5
4
3
5
4
4
3
4
4
1
5
5
5
4
5
3
3
3
5
5
2
3
4
2
5
3
5
1
4
3
3
4
3
5
3
4
1
3
3
1
2
3
5
5
2
5
3
4
2
3
3
4
5
1
3
4
1
5
2
5
2
3
3
3
5
3
3
2
3
4
3
2
1
2
5
5
3
3
2
3
3
2
1
1
5
1
3
1
4
5
1
3
4
5
5
2
5
3
2
3
5
5
5
3
4
4
5
4
5
2
5
5
5
3
3
5
5
5
5
3
5
5
5
5
5
5
5
4
4
4
5
5
4
3
2
2
5
1
5
5
4
4
2
2
3
5
1
3
5
5
1
1
5
3
5
3
5
5
4
3
4
3
3
4
4
4
2
5
4
4
3
5
3
4
5
3
5
3
5
5
5
4
5
5
4
3
5
3
1
3
2
2
3
2
2
4
4
5
3
4
1
5
2
3
4
4
5
3
4
3
3
4
4
4
3
3
4
4
5
4
4
4
4
5
5
4
3
5
5
4
4
4
4
4
5
5
3
4
5
3
4
4
5
5
3
4
4
1
4
4
5
4
3
5
4
2
5
5
5
4
4
5
4
3
5
3
4
5
5
5
4
3
3
5
5
4
5
5
3
5
5
3
4
5
5
4
4
4
5
3
4
4
3
4
5
4
4
4
5
4
5
5
4
2
5
4
5
4
1
5
5
3
5
5
5
3
4
5
4
3
5
3
4
5
5
5
5
3
4
4
5
4
5
4
4
5
5
5
4
5
4
4
5
4
5
4
4
4
3
5
5
4
4
4
5
5
3
4
4
2
5
4
4
4
3
5
5
3
5
5
4
4
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
4
4
4
4
5
5
4
5
2
3
3
4
3
5
5
5
5
4
4
4
5
4
4
5
4
5
4
4
5
4
5
4
3
4
5
3
3
5
5
4
5
5
4
5
5
5
4
5
4
3
5
5
3
5
3
5
4
3
4
4
5
5
3
4
2
3
3
4
3
5
5
5
5
4
4
4
5
4
5
5
4
3
4
4
4
5
5
4
3
5
5
3
3
5
5
4
4
5
5
5
5
5
4
5
4
3
5
4
3
5
3
5
4
3
4
4
5
5
4
5
2
3
3
4
3
4
5
5
5
4
4
4
5
3
4
5
4
3
4
5
4
5
5
4
3
4
5
3
4
4
5
4
4
5
5
5
5
5
5
5
4
4
5
4
3
5
4
4
5
5
3
5
5
5
5
3
3
3
3
4
4
3
5
5
5
5
4
5
5
4
5
2
4
3
4
5
5
4
5
5
3
4
5
5
5
5
5
3
5
5
5
5
3
3
3
5
2
4
5
4
3
5
4
4
5
4
3
3
3
4
5
4
2
3
3
3
1
5
3
3
5
3
4
4
5
3
4
2
2
1
3
4
5
5
5
2
3
5
5
5
3
4
5
5
5
4
5
5
4
4
5
3
4
2
5
3
3
5
2
5
4
3
1
5
3
5
5
5
3
3
3
5
2
5
5
4
5
3
4
5
5
4
4
2
3
3
4
4
5
4
5
3
3
4
5
2
3
4
5
4
4
2
5
5
5
4
3
5
4
1
5
3
3
5
3
5
4
4
3
5
5
4
5
5
3
3
3
5
5
5
5
3
5
4
4
4
5
4
3
5
3
3
5
4
5
4
5
4
4
4
5
2
4
5
5
4
4
5
5
5
5
5
5
5
4
2
5
4
3
5
3
5
4
4
4
4
5
5
4
5
4
3
3
3
4
4
5
5
5
4
5
4
5
4
5
5
5
5
5
5
4
5
5
5
4
5
5
5
2
4
5
5
5
4
4
5
5
5
5
5
4
5
5
5
4
5
4
4
4
3
3
4
5
5
4
5
5
3
3
3
4
4
5
5
5
3
5
4
5
3
4
5
4
3
5
5
4
5
5
4
5
5
5
5
2
4
5
5
5
4
4
5
5
5
3
5
4
5
5
5
4
5
4
4
4
5
5
4
5
5
4
5
4
3
3
4
4
5
5
5
5
4
4
4
5
3
5
5
4
3
5
5
5
5
5
5
5
5
5
5
3
5
5
4
5
5
4
5
5
5
4
5
4
3
5
5
4
5
4
4
333
334
335
336
337
338
339
Média
Moda
5
3
5
5
4
5
3
5
3
4
5
4
5
4
5
4
3
5
4
5
4
5
4
5
4
2
4
3
5
4
5
3
3
4
3
5
3
5
4
3
5
3
3
4
5
3
3
5
3
5
3
4
5
5
5
5
5
3
4
5
5
5
4
5
5
5
5
5
5
4
Consolidaçao dos dados referentes a 2001/1
CR 1 CR 2 CR 3 CR 4 CR 5 CR 6 CR 7 CR 8 CR 9 CR 10
3,8702 3,7729 3,708 3,876 3,118 3,6726 3,729 4,021 4,024 4,0796
4
4
4
5
3
5
5
4
5
4
ANEXO 3
ADAPTAÇÃO DA TÉCNICA DELPHI
A técnica Delphi (ou método) é reconhecida como uma técnica qualitativa,
pois trabalha com opiniões. Alguns autores a denominam de “técnica de
ajustamento
grupal
de
palpites
qualificados”.(Gomes
et
al.2002
e
Bethelem 2002).
O princípio da técnica é intuitivo e interativo. Implica a constituição de um
grupo que responde a questionário(s) de acordo com a sua intuição. O
número de participantes pode variar de um pequeno grupo de três ou
quatro até um grupo numeroso de pessoas, dependendo do tipo do
problema a ser investigado.
Nesta técnica propõe-se a formulação de uma coleta de opiniões sobre um
assunto que se queira examinar.Estas opiniões devem ser formuladas de forma
anônima evitando interferências, de modo que a resposta de um não influencie a
de outros avaliadores.
Após coleta dessas opiniões, as mesmas são apresentadas ao grupo, pois o
método tem também como característica a interação com feedback controlado.De
posse desta informação os indivíduos do grupo podem rever suas opiniões e emitilas.
Esse processo se repete na busca de eliminar discordâncias entre as opiniões
individuais dos avaliadores, buscando captar a opinião da maioria, porém
respeitando as convicções da minoria.