Pesquisa Operacional e o Desenvolvimento Sustentável
27 a 30/09/05, Gramado, RS
AVALIAÇÃO DE PRODUTIVIDADE DA UNIVERSIDADE ESTADUAL DE
MONTES CLAROS UTILIZANDO A DATA ENVELOPMENT ANALYSIS
(DEA)
Gisele Figueiredo Braz
(UFMG) Rua Santa Bernadete, 787. Bairro Todos os Santos – Montes Claros/MG
[email protected]
Samuel Vieira Conceição
(UFMG) Av. Antônio Carlos, 6627 - Pampulha – Belo Horizonte/MG
[email protected]
Resumo
A Data Envelopment Analysis (DEA) é usada neste artigo para determinar a produtividade relativa de
10 (dez) departamentos acadêmicos da Universidade Estadual de Montes Claros - UNIMONTES de
2003 a 2004. O modelo DEA utilizado foi escolhido por avaliar o departamento levando em conta seus
recursos disponíveis. A avaliação da produtividade possibilita o conhecimento do funcionamento
interno dos departamentos acadêmicos pela UNIMONTES, o que permite a identificação daqueles que
necessitam de maior apoio na forma de intervenções, levando ao aperfeiçoamento das deficiências
evidenciadas. Para avaliar a eficiência dos departamentos, foram utilizados os inputs: número de
docentes que trabalham em tempo integral e a idade do departamento. A fim de avaliar a influência da
idade do departamento na eficiência relativa, foram realizadas duas implementações, das quais apenas
uma levou em consideração o input idade do departamento. Os outputs foram: números de alunos
graduados, número de publicações internacionais, número de publicações nacionais, números de
publicações em anais, números de congressos, seminários e fóruns coordenados por docentes do
departamento, número de livros editados por docentes do departamento e titulação dos docentes. A
aplicação do modelo foi realizada com a utilização do software LINGO 9.0 (Language for Interactive
General Optimizer).
Palavras-chave: Análise Envoltória de Dados, Avaliação, Eficiência, Produtividade.
Abstract
The Data Envelopment Analysis (DEA) is used in this article to determinate the relative productivity
of 10 (ten) academic departments of the Universidade Estadual de Montes Claros – UNIMONTES
from 2003 to 2004. The DEA model used was chosen because it evaluates the department considering
the available resources. The evaluation of the productivity for the UNIMONTES makes possible the
knowledge of the internal operation of the academic departments that allows the identification of those
that need larger supports through interventions, leading to the improvement of the deficiencies
identified. To evaluate the efficiency of the departments, the following inputs were used: number of
teacher that work in integral time and age of the department. In order to evaluate the influence of the
age of the department in the relative efficiency, two implementations were used, of which just one
considered the input ‘age of the department’. The outputs were: number of students graduated, number
of international publications, number of national publications, number of publications in annals,
number of forums and seminars coordinated by teachers of the department, number of books edited by
teachers of the department and teachers’ graduation. The application of the model was made with the
utilization of the software LINGO 9.0 (Language for Interactive General Optimizer).
Keywords: Data Envelopment Analysis, Evaluation, Efficiency, Productivity.
Pesquisa Operacional e o Desenvolvimento Sustentável
27 a 30/09/05, Gramado, RS
1. Introdução
De acordo com Niederauer (1998), um método quantitativo que vem sendo freqüentemente
empregado em ambientes decisórios é a Data Envelopment Analysis - DEA ou Análise por Envoltória
de Dados. O método é facilmente aplicável em situações onde existam vários insumos e produtos e
cujas importâncias relativas não podem ser definidas (JOHNES, 1996), como é o caso de organismos
públicos. A DEA se constitui em uma alternativa aos métodos tradicionais de avaliação de
desempenho, pois não é paramétrica, dispensando o prévio estabelecimento de uma forma funcional
(CHARNES et al., 1996). Portela (2002) entende que otimizar a eficiência da gestão escolar tem-se
tornado imprescindível, visto que é um tema amplamente discutido.
Visando a preencher o espaço deixado por uma escassez de modelos de avaliação científica
aplicada ao ensino superior no Brasil, este artigo propõe a utilização da metodologia DEA, com
objetivo de avaliar a eficiência técnica relativa dos departamentos acadêmicos da Universidade
Estadual de Montes Claros – UNIMONTES, pois se apresenta como uma ferramenta eficaz no cálculo
dos níveis de eficiência técnica. A UNIMONTES terá assim, conhecimento do funcionamento interno
de seus departamentos, o que permitirá a identificação daqueles que necessitam de maior apoio na
forma de intervenções, levando ao aperfeiçoamento das deficiências evidenciadas na avaliação.
A UNIMONTES resultou da transformação da Fundação Norte-Mineira de Ensino Superior –
FUNM de acordo com o artigo 82, parágrafo 3º, do ‘Ato das Disposições Constitucionais
Transitórias’, da Constituição Mineira, de 21/09/89.
A UNIMONTES possui hoje 55 cursos de graduação regulares, um curso de mestrado, vinte e
uma especializações, seis residências médicas, com 19.042 alunos regulares e um quadro de 934
professores. É a única universidade pública inserida na região do Norte de Minas, Vale do
Jequitinhonha e do Mucuri, abrangendo mais de 300 municípios.
2. Revisão de Literatura
Farrell (1957) foi um dos pioneiros na abordagem do problema da avaliação de eficiência
produtiva. Ele assume a existência de produtores ineficientes, defendendo a idéia de que, uma vez
definida a fronteira de eficiência, dada pela função de produção, a medida de ineficiência de uma
unidade produtiva corresponde à distância entre o nível de produção observado e a fronteira. Lovell et
al. (1993) define eficiência de uma unidade produtiva como a comparação entre os valores observados
e os valores ótimos esperados de seus outputs e inputs. Em outras palavras, pode ser definida como a
razão entre a produtividade observada e a produtividade esperada.
Para Schwartzman (1997), o conceito econômico de produtividade é claro: uma relação entre
insumos e produtos medidos em unidades físicas, como, por exemplo, na relação
diplomados/ingressantes. As medidas de produtividade, ao compararem produtos e insumos em
unidades físicas, não levam em consideração o custo do insumo nem a qualidade do produto. Já a
eficácia mostra até que ponto os objetivos da instituição foram atingidos.
Golany e Roll (1989) consideram que um grupo é homogêneo quando as unidades analisadas
realizam as mesmas tarefas com objetivos similares, atuam sob as mesmas condições de mercado e
utilizam os mesmos inputs e produzem os mesmos outputs, que diferem apenas em intensidade.
A DEA é uma técnica de programação matemática para a construção de fronteiras de produção e a
medida de eficiência relativa para a fronteira construída (CASU e MOLYNEUX, 2000).
Segundo Lopes (1998), DEA é uma técnica não paramétrica para o estudo de fronteira de funções
que permite construir fronteiras empíricas para observação de um conjunto de UTDs (Unidades
Tomadoras de Decisão),
Análise de Envoltória de Dados tem sido muito utilizada para avaliar a eficiência técnica de
unidades educacionais. Segundo Charnes et al (1994), a história da DEA começa com a dissertação
publicada pelos autores Charnes, Cooper e Rhodes (1978). O problema abordado na tese era o de
desenvolver um método para comparar a eficiência de escolas públicas.
No Brasil, a DEA já foi utilizada para analisar o desempenho de Universidades em Lopes, Lanzer
e Lapa (1996); Lopes, Lapa e Lanzer (1995); Abel (2000) e Lopes (1998), dentre outros.
329
Pesquisa Operacional e o Desenvolvimento Sustentável
27 a 30/09/05, Gramado, RS
3. Material e Métodos
A presente pesquisa é um estudo empírico-analítico, pois se ocupa da codificação do contexto
mensurável da realidade de uma instituição de ensino superior (UNIMONTES) utilizando técnicas de
coletas, tratamento e análise de dados documentais e quantitativos. Pode ser também considerado
como um estudo teórico-metodológico por ser estruturado em estudos teóricos e em formulação de
quadros de referência, com o objetivo de questionar a realidade da instituição de ensino superior. Foi
utilizada a metodologia de Estudo de Caso.
Voss et al. (2002) apresentam o Estudo de Caso como sendo, atualmente, um dos métodos de
pesquisa mais poderosos na Gestão da Produção, particularmente no desenvolvimento de novas
teorias.
A técnica utilizada para a avaliação da produtividade dos departamentos acadêmicos da
UNIMONTES foi a Análise Envoltória de Dados.
3.1. O Modelo DEA utilizado
O modelo escolhido para a análise dos dados tem as seguintes características:
− Retornos constantes de escala: boa parte da literatura sobre DEA, especialmente aquela aplicada à
área acadêmica (por exemplo, Bessent et al., 1983, Beasley, 1990, 1995), utiliza modelos radiais,
com retornos constantes de escala (CRS), onde a expansão dos produtos é diretamente proporcional
à expansão dos insumos;
− Orientação a produto: optou-se por um modelo DEA com base na maximização de produção, e não
na redução do consumo de insumos é dito “orientado no sentido dos outputs” (output oriented) por
questões que podem ser, principalmente, identificadas na natureza de serviço público da
universidade sob análise.
O software que foi usado para implementação do modelo foi o LINGO 9.0.
O modelo utilizado para avaliação dos departamentos acadêmicos é uma adaptação do modelo
utilizado por Lopes (1998) e por Abel (2000).
s
Max PROD ko =
∑ P( j, k
j =1
o
) * I d ( j, k o )
s.a.
m
∑ P(i, k
i =1
s
o
) * I E (i, k o ) = 1
∑ P( j, k ) * I
j =1
m
d ( j, k ) -
∑ P(i, k ) * I
i =1
E
(i, k ) ≤ 0 ,k = 1,2,3...n
P(j,k),P(i,k) ≥ 0
∀I d , I E
PRODko é o índice de produtividade do Departamento ko, em concordância com sua própria
escolha de pesos P(j, ko) para o j-ésimo indicador de desempenho Id(j,ko).
Para o modelo com n DMUs, m inputs e s outputs, IE(i,k) representa o input i da DMUk, Id
representa o output j da DMU k; P(i,k) é o peso atribuído ao input i, P(j,k) é o peso atribuído ao output
j.
Por este motivo, a aplicação do modelo para todos os departamentos (ou seja, fazendo um “loop”
na função objetivo para k) gera um conjunto de índices de produtividade para cada departamento.
Foram escolhidos dez departamentos da UNIMONTES, para compor as DMUs:
Administração, Ciências Agrárias, Ciências Contábeis, Ciências Sociais, Educação Física,
Filosofia, Geografia, Medicina, Odontologia e Sistema de Informação. Os demais departamentos da
UNIMONTES, não foram avaliados por não terem seus dados estruturados no tempo previsto para a
realização da pesquisa.
Foi criada uma lista inicial enorme de fatores que posteriormente foi reduzida a uma integração
dos insumos e produtos abrangidos nas categorias abaixo que foram incluídos de acordo com as
perguntas formuladas.
1) Quem ou o que permite a um departamento alcançar seus objetivos?
As categorias que mais eficientemente responderam a essa pergunta foram o número de docentes
330
Pesquisa Operacional e o Desenvolvimento Sustentável
27 a 30/09/05, Gramado, RS
em tempo integral e a idade do departamento, sendo então os inputs utilizados pelo modelo de DEA
nesta pesquisa. A idade do departamento só fez parte de uma implementação.
Para achar o valor dos docentes que trabalham em tempo integral, utiliza-se a mesma fórmula
utilizada por Lopes (1998), ou seja, DTI (docentes em tempo integral) = nº. docentes DE + nº.
docentes 40h +1/2 nº. docentes 20h. (1.1)
2) Quais são os objetivos de um departamento de uma universidade?
As categorias que responderam a essa pergunta foram:
**Ie1 (1, K) = números de alunos diplomados em graduação.
O cálculo foi feito somando o total de graduados em 2003 e o total de graduados em 2004 de cada
departamento, tirando-se a média e dividindo-se pelo número de docentes em tempo integral.
Uma alternativa para fugir da multiplicidade produtos, relacionados com pesquisa e extensão, foi
reuni-los, o que resultou em uma categoria básica:
**Ie2(2, K) = Índice de publicações.
(5 AI + 4 AN + 3 A + 2CSAF + CL )
( AI + AN + A + CSAF + CL )
IP =
DTI
-AI número de publicações internacionais por docentes do departamento;
-AN número de publicações nacionais por docentes do departamento;
-A números de publicações em anais por docentes do departamento;
-CSAF números de congressos, seminários e fóruns coordenados por docentes do departamento;
-CL número de livros publicados por docentes do departamento.
Todas as variáveis de ensino, pesquisa e extensão foram divididas por docente tempo integral DTI, como formulado acima (vide 1.1), de modo a obter a produção do departamento por docente.
O indicador referente à qualidade refere-se ao Índice de Titulação do Corpo Docente – ITCD. Este
índice, elaborado pela Andifes (1994), foi calculado como segue:
ITCD =
5 D + 3M + 2 AE + G
D + M + AE + G
Onde:
D = número de docentes doutores;
M= número de docentes mestres;
AE = número de docentes com graus de especialização;
G = número de docentes que além do diploma de graduação não apresentam nenhuma das
titulações mencionadas.
As categorias acima foram selecionadas como os outputs que foram usados no modelo da DEA na
pesquisa. Após a seleção dos fatores a serem avaliados foi feita é a implementação do modelo de DEA
escolhido.
Os dados disponíveis para a pesquisa são relativos aos dez (10) departamentos acadêmicos da
Universidade Estadual de Montes Claros, (biênio 2003/2004) e foram obtidos de diversas fontes
dentro da administração central e de material publicado pela mesma.
O método de discriminação em DEA utilizado foi Fronteira Invertida ou Dupla Envoltória.
Para Angulo-Meza et al. (2003), Fronteira Invertida representa uma forma de medir a ineficiência
de uma unidade.
A Fronteira Invertida ou dupla envoltória (NOVAES, 2002; ENTANI et al., 2002), é um métodos
que trabalha com uma fronteira de ineficiência invertendo inputs em outputs e outputs em inputs. A
fronteira de ineficiência ajuda a identificar DMUs falso positivas, ou seja, DMUs consideradas
eficientes pela fronteira padrão e ineficientes pela fronteira invertida. Para não pertencerem à fronteira
invertida, as DMUs devem-se ser excelentes naquelas variáveis que são consideradas muito boas e não
podem ser muito ruins nas outras (ANGULO-MEZA et al, 2003).
Segundo Soares de Mello et al. (2003), um resultado conjunto das fronteiras padrão e invertida de
cada DMU é obtido com a eficiência composta:
Eficiência Composta =
EficiênciaPadrão + (1 − EficiênciaInvertida)
2
Ainda para Soares de Mello et al. (2003), a eficiência composta normalizada de cada DMU é o
331
Pesquisa Operacional e o Desenvolvimento Sustentável
27 a 30/09/05, Gramado, RS
resultado da divisão da eficiência composta daquela DMU pelo valor da maior eficiência composta
dentro de todas as DMUs analisadas no problema.
A utilização da técnica de fronteira invertida possibilita a discriminação entre DMUs realmente
eficientes, e DMUs falso-eficientes.
4. Resultados e Discussão
O input idade do departamento influenciou significativamente a fronteira de eficiência. Quando,
na aplicação do modelo DEA, também foi utilizado o input da idade do departamento, além do input
DTI, apenas o departamento Sistemas de Informação, que é um departamento novo, ficou na fronteira
de eficiência; enquanto alguns dos departamentos mais antigos, mesmo apresentando um bom
desempenho nos aspectos avaliados, não conseguiram atingir a fronteira de eficiência. No entanto,
quando a implementação foi realizada sem a idade do departamento, somente os departamentos mais
antigos (Ciências Contábeis e Administração) se mantiveram na fronteira de eficiência.
A análise abaixo se refere à utilização dos dois inputs (idade do departamento e número de
docentes que trabalham em tempo integral).
O Departamento de Ciências Agrárias (CA) atingiu a eficiência padrão, por ser um departamento
novo, com um extenso número de doutores e uma boa produção científica, a despeito de ter um
considerável número de docentes por tempo integral.
O Departamento de Administração (AD) alcançou a eficiência padrão por possuir um número
reduzido de docentes efetivos e uma quantidade excelente de alunos graduados por ano, apesar de ter
uma produção cientifica reduzida e de ser um departamento antigo.
O Departamento de Ciências Contábeis (CC) atingiu a eficiência padrão por ter um número
expressivo de graduados por ano, uma numerosa produção de artigos, com um número de docentes
efetivos bastante reduzido, mesmo sendo um departamento antigo.
O Departamento de Educação Física (EF), apesar de ser um departamento novo, possui muitos
docentes efetivos, com um número de graduados por ano razoável e uma produção científica
significativa, e, portanto, alcançou a eficiência padrão.
O Departamento de Sistemas de Informação (SI), embora seja novo e não deixou a desejar em
nenhum aspecto, já que foi o único departamento a alcançar a eficiência composta.
O Departamento de Ciências Sociais (CS), apesar de antigo e de ter um vasto número de
graduados por ano e um número considerável de mestre e doutores, tem uma limitada produção de
artigos científicos e foi, portanto, considerado ineficiente.
O Departamento de Filosofia (FI) possui um número razoável de docentes em tempo integral, não
é um departamento muito novo, não possui uma quantidade considerável de graduandos por ano, e a
produção cientifica é ínfima, além de não possuir nenhum doutor e ter poucos mestres. Portanto, não
alcançou a fronteira de eficiência.
O Departamento de Medicina não conseguiu fazer parte da fronteira de eficiência por ser um
departamento antigo, ter um grande número de professores, possuir apenas um doutor e poucos
mestres. A produção cientifica é inexpressiva, e o número de graduados por ano é baixíssimo.
O Departamento de Odontologia, não obstante novo, esteve próximo de pertencer à fronteira de
eficiência, pois possui uma boa produção científica, mesmo possuindo uma grande quantidade de
docentes por tempo integral e conseguindo colocar no mercado de trabalho poucos graduados por ano.
O resumo da implementação feita pelo LINGO 9.0:
Inputs
Outputs
Departamentos
N.º de Docentes
Idade do
Alunos
Índice de
Titulação dos
Efetivos
Departamento Graduados Publicações
Docentes
Administração
31.0
32
1.58
0.097
2.81
Ciências Agrárias
83.0
8
0.37
0.039
3.74
Ciências Contábeis
35.5
32
2.08
0.090
2.39
Ciências Sociais
39.5
37
1.16
0.068
2.82
Educação Física
74.0
8
0.67
0.046
2.26
Filosofia
33.0
20
0.73
0.091
2.05
Geografia
43.5
39
0.72
0.069
2.54
332
27 a 30/09/05, Gramado, RS
Pesquisa Operacional e o Desenvolvimento Sustentável
Medicina
Odontologia
Sistemas
Informação
de
114.0
114.0
33
7
0.35
0.36
0.024
0.028
2.29
2.58
34.5
8
0.43
0.087
2.33
Tabela 1 – Outputs e Inputs
Departamentos
Administração
Ciências Agrárias
Ciências Contábeis
Ciências Sociais
Educação Física
Filosofia
Geografia
Medicina
Odontologia
Sistemas de Informação
Eficiência Padrão
1.000000
1.000000
1.000000
0.8123260
1.000000
0.9828652
0.6732717
0.2902892
0.8945171
1.000000
Eficiência Composta
0.739077
0.770183
0.662525
0.556860
0.788376
0.785848
0.395446
0.170501
0.541709
1.000000
Tabela 2 – Análise de Eficiência Utilizando os Inputs Idade do Departamento e Número de Docentes Efetivos
Departamentos
Administração
Ciências Agrárias
Ciências Contábeis
Ciências Sociais
Educação Física
Filosofia
Geografia
Medicina
Odontologia
Sistemas de Informação
Eficiência Padrão
1.000000
0.4971059
1.000000
0.7876030
0.3369241
0.8812871
0.6441690
0.2216083
0.2496722
0.8059166
Eficiência Composta
1.045113
0.475070
1.000000
0.885173
0.399139
0.915550
0.764062
0.130233
0.163050
0.853830
Tabela 3 – Análise de Eficiência Utilizando apenas o Input Número de Docentes Efetivos
5. Conclusão
O uso da idade do departamento demonstrou ter influência na avaliação final dos departamentos,
pois a sua utilização mudou explicitamente o número de departamentos na fronteira de eficiência. É
esperado que um departamento antigo tenha uma estrutura melhor e, por isso, apresente uma eficiência
relativa excelente. Mas, ao final das aplicações do modelo do DEA, o que ficou explicitado é que em
alguns departamentos, a menor idade de funcionamento influenciou o alcance da fronteira de
eficiência. Portanto, o modelo com a explicitação da idade do departamento se mostrou mais
fidedigno.
O método de análise envoltória de dados utilizado é um processo cujo resultado deve envolver
uma mobilização de todos os integrantes dos departamentos acadêmicos da instituição avaliada, pois
fornece uma análise clara dos departamentos em estudo, promovendo a busca da excelência,
evidenciando a crítica construtiva e inovadora para analisar o que levou à eficiência ou à ineficiência
de seus departamentos. Tal análise pode ser utilizada como ferramenta de otimização dos quesitos que
demonstraram falhas na garantia da produtividade, buscando, desta forma, orientar a instituição na
alocação de recursos, a fim de melhorar o desempenho do departamento ineficiente.
6. Referências
ABEL, L. (2000) - Avaliação cruzada da produtividade dos departamentos acadêmicos da UFSC utilizando
DEA (Data Envelopment Analysis). Florianópolis. Dissertação, mestrado em Engenharia de Produção,
Universidade Federal de Santa Catarina.
ANDIFES (1994) - Associação Nacional de Dirigentes de Instituições Federais de Ensino Superior, Matriz
de Alocação de Recursos para as Instituições de Ensino Superior.
333
Pesquisa Operacional e o Desenvolvimento Sustentável
27 a 30/09/05, Gramado, RS
ÂNGULO-MEZA, L.; GOMES, E.G.; SOARES DE MELLO, J.C.C.B.; BIONDI NETO, L. (2003) Fronteira DEA de dupla envoltória no estudo da evolução da ponte aérea Rio – São Paulo. In: XVII
ANPET - CONGRESSO DE ENSINO E PESQUISA EM TRANSPORTES, Rio de Janeiro. Anais do XVII
ANPET.
BEASLEY, J. E. (1995) - Determining teaching and research efficiencies. Journal of the Operational
Research Society, Vol. 46, 441-452.
BEASLEY, J. (1990) - Comparing University Departments, Omega, Vol. 18, n.2, 171-183.
BESSENT, A. M. et. al. (1983) - Evaluation of educational program proposals by means of DEA.
Educational Administration Quarterly, Vol. 19, n. 2, 82-107.
CASU, B. and MOLYNEUX, P. (2000) Efficiency and Structural Issues in European Banking, Revue de la
Banque 6/2000..
CHARNES, A. & W. W. COOPER, et al. (1994) - Data Envelopment Analysis: Theory, Methodology and
Applications. Boston, Kluwer.
CHARNES, A.; COOPER, W. W. & RHODES, E. (1978) - Measuring the Efficiency of Making Units.
European Journal of Operational Research, Vol. 2.
CHARNES, A.; COOPER, W. W.; LEWIN. A. & SEIFORD, L. M. (1996) - Data Envelopment Analysis:
Theory, Methodology, and Application. Kluwer Academic Publishers.
ENTANI, T.; MAEDA, Y. & TANAKA, H. (2002) - Dual Models of Interval DEA and its extensions to
interval data. European Journal of Operational Research, Vol. 136, 32-24.
FARRELL, M.J. (1957) - The Measurement of Productive Efficiency. Journal of the Royal Statistical
Society, Series A, CXX, Part 3, 253-290.
GOLANY, B., ROLL, Y. (1989) - An application procedure for DEA. Omega, v. 17, n. 3,p. 237-250.
JOHNES, J. (1996) - Performance assessment in higher education in Britain. European Journal of
Operational Research, Londres, Vol. 89, 18-33.
LINS, M.P.E. & ANGULO-MEZA, L. (2000). Análise Envoltória de Dados e perspectivas de integração
no ambiente de Apoio à Decisão. Editora da COPPE/UFRJ, Rio de Janeiro.
LOPES, A. L. M.; LAPA, J.S. & LANZER, E. A. (1995) - Eficiência Produtiva em Serviços
Governamentais: O Caso das Universidades Federais Brasileiras. First International Congress of Industrial
Engineering e XV Congresso Nacional de Engenharia de Produção - ENEGEP, São Carlos - São Paulo.
LOPES, A. L. M.; LANZER, E. A. & LAPA, J. S. (1996) - Análise por Envelopamento de Dados: Uma
nova Ferramenta para Avaliação de Produtividade Multidimensional no Setor de Serviços. ENANPAD.
LOPES, A. L. M. (1998) - Avaliação cruzada da produtividade e qualidade dos departamentos acadêmicos
de uma universidade com um modelo de análise envoltória de dados e conjuntos difusos. Florianópolis,
156p. Tese (Doutorado em Engenharia de Produção) – Engenharia de Produção, Universidade Federal de
Santa Catarina.
LOVELL, C. A. K. (1993) - Linear Programming Approaches to the Measurement and Analysis of
Productive Efficiency. Department of Economics, The University of North Carolina, USA.
NIEDERAUER, C. A. P. (1998) - Avaliação dos bolsistas de produtividade em pesquisa da Engenharia de
Produção utilizando DATA ENVELOPMENT ANALYSIS; Florianópolis. Dissertação (Mestrado em
Engenharia de Produção) – Engenharia de Produção, Universidade Federal de Santa Catarina.
NOVAES, L.F.L. (2002). Envoltória Sob Dupla ótica aplicada na avaliação imobiliária em ambiente do
sistema de informação geográfica. Tese de Doutorado, Programa de Engenharia de Produção, UFRJ, Rio
de Janeiro, Dezembro.
PORTELA, R. (2002) - Avaliando a eficiência em unidades de ensino fundamental de Fortaleza - CE,
usando a análise envoltória de dados (DEA). Florianópolis, Dissertação (Mestrado em Engenharia de
Produção) – Engenharia de Produção, Universidade Federal de Santa Catarina.
SOARES DE MELLO, J. C. C. B, PIMENTA, H. L. do N. e MACEDO, M. (2003) - Decisão da realização
de investimentos em tecnologia da informação com análise envoltória de dados. Universidade Federal de
Santa Catarina,Revista de Produção on line Vol. 4, Num. 2.
SCHWARTZMAN, J. (1997) - Um Sistema de Indicadores para as Universidades Brasileiras. Avaliação
Universitária em Questão: reformas do estado e da educação superior/Valdemar Sguissardi(org.). Campinas, SP: Autores Associados. Coleção educação contemporânea.
VOSS, C.; TSIKRIKTSIS, N. & FROHLICH, M. (2002) - Case research in operations management.
International Journal of Operations & Production Management, Vol. 22, n. 2, 195-219.
334