XXII Encontro Nacional de Engenharia de Produção Curitiba – PR, 23 a 25 de outubro de 2002 MODELAGEM E AVALIAÇÃO DA PRODUTIVIDADE DE CURSOS DE MESTRADO EM ENGENHARIA DE PRODUÇÃO Annibal Parracho Sant’Anna Universidade Federal Fluminense Abstract This paper compares different methodologies used to derive global productivity indices from particular criteria. To develop the comparison in a concrete framework, the methodologies are applied to evaluate the productivity of the Faculty resources of the Brazilian M.Sc. courses in the area of Production Engineering. Research is focused on the effect of the quantity of students on the productivity of Faculty, measured with respect to two output variables: students concluding the course and professors having full texts accepted in congresses during the year. The analysis of data and results obtained confirms the importance of taking into account the possibility of random deviations. Keywords: Data Envelopment Analysis – Global Productivity – Hierarchical Models Introdução. Neste trabalho são comparadas diferentes metodologias de agregação de critérios em uma medida de produtividade global. Para realizar esta comparação em uma situação concreta, medimos a produtividade dos recursos docentes dos cursos de mestrado em Engenharia de Produção. Nesta análise, investigamos como a quantidade de alunos no curso afeta a produção de dois outputs da atividade dos professores: formação de mestres e geração de resultados de pesquisa. Como elemento principal do processo de ensinoaprendizagem, sob a orientação dos professores, os alunos constituem um recurso ao lado do recurso docente. Por outro lado, a maior quantidade de alunos no curso pode reduzir as taxas de produção dos outputs valorizados quando se leva em conta apenas os objetivos acadêmicos. Especialmente na área de Engenharia de Produção, parte considerável da demanda atendida pode ser constituída de alunos voltados para o mercado de trabalho, que priorizam a aprendizagem em sala de aula e consideram secundária a conclusão do curso através da dissertação e a participação em projetos de pesquisa. Partindo de que os mecanismos de avaliação da produtividade devem gerar medidas simples de forma clara para propiciar a sua aplicação consciente e transparente, limitamos a comparação a algoritmos relacionando medidas quantitativas de forma objetiva. Metacritérios, dentre os quais destacaríamos a qualidade das interpretações que os critérios básicos permitam e o seu potencial de motivar inovações, não devem ser incorporados no algoritmo de avaliação, mas aplicados a posteriori. Não se pretende, com isto, negar a importância destes aspectos, mas evitar que os elementos subjetivos da tomada de decisão final sejam escamoteados, a insuficiência dos valores explicitados no algoritmo servindo para autorizar o prevalecimento de valores contraditórios nunca explicitados. Por mais simples que seja a metodologia, elementos intrínsecos na composição dos critérios precisam ser esclarecidos. Investigamos, aqui, alguns destes aspectos: de um lado, a capacidade dos instrumentos de medição considerados de lidar com o efeito de perturbações aleatórias e, de outro, sua eficiência em levar em conta aspectos que afetam indiretamente a produtividade do fator cujo emprego se deseja avaliar. Três medidas de produtividade são comparadas: a eficiência radial da Análise Envoltória de Dados clássica (Charnes, Cooper e Rhodes, 1978), a produtividade global ENEGEP 2002 ABEPRO 1 XXII Encontro Nacional de Engenharia de Produção Curitiba – PR, 23 a 25 de outubro de 2002 avaliada probabilisticamente (Sant’Anna, 2001) e a produtividade explicada por um modelo hierárquico (Sant´Anna, 1999). Na seção seguinte, as estruturas dos algoritmos que conduzem a cada uma dessas medidas são delineadas. Na seção 3, a aplicação de DEA é comparada com a de critérios probabilísticos. Na Seção 4, o ajustamento de um modelo hierárquico é considerado, explorando-se a possibilidade de adicionar dados de um conjunto de unidades de observação com outras características, no caso os cursos de mestrado em Engenharia Mecânica. Conclusões são expostas na seção final. 2. Medidas Globais de Produtividade Esta seção apresenta, em primeiro lugar, medidas de produtividade individual deduzidas usando DEA e probabilidades de atingir a fronteira de excelência. Depois, se desenvolve a abordagem pelo ajustamento iterativo de um modelo hierárquico e o cálculo da produtividade explicada pelos fatores considerados no modelo. DEA mede a produtividade pela proximidade da fronteira de excelência. Para evitar arbitrar pesos para os diversos recursos e produtos, a produtividade é calculada com uma composição de pesos diferente para cada unidade avaliada, escolhida de modo a maximizar a razão entre o output agregado e o input agregado respectivo e aquele correspondente à fronteira de excelência. O cálculo de probabilidades se justifica pela imprecisão inerente aos dados. Considerando que os valores da fronteira de excelência são particularmente sujeitos à influência de perturbações aleatórias, um passo adicional para evitar as distorções delas decorrentes é comparar com a fronteira de ineficiência em vez de com a fronteira de eficiência. Partindo deste princípio, usa-se como indicador, nesta análise, a probabilidade de não atingir o valor mínimo em nenhum output sem atingir o valor máximo no input. A principal finalidade do monitoramento da qualidade é motivar para a inovação chamando a atenção para as principais causas de defeito e de eficiência. Isto sugere derivar a avaliação dos resultados do ajustamento de um modelo hierárquico e dinâmico, que considere a influência sobre os coeficientes de produtividade de fatores e condições operacionais que variam com o tempo. Um tal modelo poderá ser satisfatoriamente ajustado se as observações passadas puderem ajudar a estimação dos parâmetros atuais. Este procedimento iterativo precisa ser explicado em mais detalhe que as outras duas abordagens com que será comparado no final. O modelo hierárquico dinâmico tem como centro uma aproximação linear para a função de produção, relacionando os volumes de output dos produtos considerados mais importantes com o custo total envolvido na sua produção. O coeficiente de cada output poderá variar ao longo do tempo e entre as unidades observadas de acordo com o contexto operacional. Formalmente esta estrutura pode ser descrita na forma seguinte. Cit = Pitβit + εit (equação de observação) (2.1) onde Cit denota custo agregado observado na unidade i no instante t, Pit denota vetor de outputs, βit denota vetor de coeficientes de produção e εit denota perturbação estocástica de média zero. Ypit = Fpitγpit + ηpit (equações de estrutura) (2.2) onde Ypit denota um estimador de βpit, o coeficiente de produção da unidade i para o output p no instante t, Fpit denota um vetor de variáveis explicativas de segundo nível para o coeficiente de produção do output p, γpit denota o vetor de coeficientes da equação estrutural relativa ao output p e ηpit denota perturbação estocástica de média zero para a pésima equação de estrutura. Uma vez obtidas estimativas diferenciadas para os coeficientes da equação de observação de cada unidade, podemos ajustar as equações do segundo nível separadamente para, a seguir, suavizar os coeficientes do primeiro nível e, finalmente, gerar predições ENEGEP 2002 ABEPRO 2 XXII Encontro Nacional de Engenharia de Produção Curitiba – PR, 23 a 25 de outubro de 2002 para a variável dependente deste nível, em um procedimento de quatro passos sucessivos: geração de coeficientes iniciais diferenciados para a equação de observação (inicialização); estimação dos coeficientes das equações estruturais (atualização); obtenção de estimativas finais para os coeficientes da equação de observação (suavização); composição dos coeficientes de produção em predições finais para a variável de custo (predição). Para estabelecer um padrão que favoreça a detecção de inovações e enfatize a dinâmica da qualidade, utiliza-se aqui uma relação de 4 para 1 entre as variâncias da nova observação e do antigo estimador. Com isto, a aplicação de mínimos quadrados ponderados fixará a iteração do instante t-1 para o instante t através de: Ypit = bpit + Ppit eit/(w + Pit) (equação de evolução) (2.3) onde Pit denota a norma quadrática do vetor de outputs do indivíduo i no instante t, eit denota o erro de predição inicial Cit – Pitbit e w = 4, a razão entre as variâncias escolhidas. A produção das estimativas Ypit encerra o estágio de inicialização. A aproximação linear não costuma explicar satisfatoriamente a variação de coeficientes locais ao longo de um conjunto de unidades em situações muito distantes umas das outras e melhora quando elas são divididas em classes coerentes. Unidades de referência são usadas para identificar essas classes. É escolhida como primeira unidade de referência a mais representativa de todo o grupo, por um critério de ajustamento ao modelo do ano anterior ou, no primeiro ano, a um modelo simplificado. A segunda é a de maior coordenada no seu componente ortogonal à direção da primeira. A terceira, se houver mais de duas variáveis explicativas na equação de observação, será a de maior coordenada no componente ortogonal ao plano gerado pelas duas anteriores, e assim por diante. O próximo passo após escolher as unidades de referência é calcular as coordenadas dos vetores de outputs padronizados das unidades na base formada pelos vetores correspondentes às unidades de referência. Usamos estas representações para separar as unidades observadas em grupos: a unidade i-ésima entra no grupo da unidade de referência p-ésima no instante t se Ppit* ≥ Pqit* para todo q, onde (P1it*, … , Pkit*) denota a representação do vetor (P1it, … , Pkit) de outputs padronizados da unidade i-ésima na base formada pelos vetores de outputs padronizados das unidades de referência escolhidos para esse instante t. Esta classificação é usada para ajustar equações do segundo nível com coeficientes constantes em cada classe. Estabelecida a homogeneidade dentro das classes, podemos assumir que os vetores de coeficientes das equações estruturais γpit são de fato vetores de constantes γpc(i,t) onde c(i,t) denota classe da unidade i-ésima no instante t. Simplifica-se a interpretação modelando o fator de correção eit/(w + Pit), em vez de cada coeficiente. Neste caso, precisamos ajustar apenas uma equação de segundo nível para cada classe. Depois de atualizar, passamos às etapas de suavização e predição. Estas consistem na aplicação das equações (2) e (1), nesta ordem. fpit = Fpit gpc(i,t) (equação de suavização) (2.4) onde fpit é a estimativa final de βpit e gpc(i,t) é a estimativa do vetor de coeficientes para a pésima equação do segundo nível na classe c(i,t). Alternativamente, fpit = bpit + Ppit hpc(i,t) (equação de suavização do fator de correção) (2.5) onde hpc(i,t) é a estimativa para o fator de correção. E, finalmente, Kit = Pitfit (equação de predição) (2.6) onde Kit é o custo explicado para a unidade i no instante t e fit é o vetor dos fpit. O ajustamento do modelo fornece estimativas para os coeficientes de produção de cada unidade. Ponderando os coeficientes de produção estimados com pesos dados pela sua própria produção obtém-se o Custo Predito. Com medições sujeitas a erro, o comportamento médio oferece padrões de referência mais confiáveis que o comportamento extremo. Nesta perspectiva, em vez de comparar com o custo ótimo, devemos comparar com o comportamento central. Assim, obtemos um índice de produtividade comparando o ENEGEP 2002 ABEPRO 3 XXII Encontro Nacional de Engenharia de Produção Curitiba – PR, 23 a 25 de outubro de 2002 custo predito para a combinação de outputs da unidade que usa como pesos as estimativas para os coeficientes de produção dela com a que usa as medianas dessas estimativas: Produtividade explicada = Custo Predito / Custo Mediano = Kit / PitBt, onde o custo mediano PitBt é obtido substituindo, na expressão para o custo predito, o coeficiente técnico estimado para cada produto e cada unidade por uma mediana das estimativas para o coeficiente desse produto no conjunto de todas as unidades observadas. Os valores acima de 1 na produtividade explicada registram a presença de fatores estruturais considerados no modelo em um nível agregado alto o bastante para elevar a relação custo/produto acima do nível mediano no conjunto examinado. Da mesma forma, valores baixos deste índice significam que o uso de recursos deve ser baixo relativamente à quantidade produzida, devido a valores pequenos das variáveis explicativas das equações estruturais. 3. Análise Envoltória de Dados e Produtividade Global Probabilística As diferentes abordagens acima desenvolvidas aplicam-se aqui a um mesmo conjunto de dados, disponibilizado em [email protected], relativo ao triênio de 1998 a 2000, de recursos e produção de cursos de mestrado em Engenharia de Produção. São também usados em todas as abordagens, como dados auxiliares, os disponibilizados no mesmo sítio relativos aos cursos de mestrado em Engenharia Mecânica. Em todas as abordagens, o objetivo da análise é medir a produtividade do recurso docente na produção de ensino e pesquisa representada por dois itens, número de dissertações concluídas no curso e número de docentes do núcleo de referência docente mais estrito apresentando resultados de pesquisa aceitos para publicação integral em atas de congressos. Como variável subsidiária na análise é usada uma variável adicional: o número de alunos no curso, tratada nesta seção como um recurso adicional e na seção seguinte como condição de operação afetando os parâmetros de produtividade do recurso docente. O volume do recurso docente é definido pela média entre os números de docentes no núcleo de referência docente, conforme as duas definições mais estrita e mais abrangente usadas pelos especialistas, NRD1 e NRD6. Nesta seção, são empregados dois instrumentos de análise: DEA e avaliação probabilística da produtividade global. Para reduzir a influência das variações aleatórias, trabalhamos aqui com a média dos dados referentes aos 3 anos. O curso da Ufrn ficou fora desta análise por ter iniciado suas atividades em 2000, inviabilizando o uso de uma média. Com a redução da influência de perturbação aleatória, se controla uma possível fonte de divergência entre os resultados da DEA e os da avaliação probabilística. Resta a divergência no conceito de produtividade global propriamente dito, isto é, entre a opção da DEA de adotar a composição de recursos e produtos mais favorável e da avaliação probabilística de levar em conta o afastamento de todos os patamares máximos de utilização de recursos e mínimos de produção de resultados. A Tabela 3.1 apresenta os valores das variáveis de insumo e produto consideradas e a Tabela 3.2 os resultados da aplicação da DEA e da avaliação probabilística ao conjunto dos cursos de Engenharia de Produção, com e sem a inclusão do número de alunos no curso como input adicional ao número de docentes. A Tabela 3.3 apresenta resultados das mesmas análises, para os mesmos cursos, mas, comparando cada um com um universo maior que inclui, além dos cursos de Engenharia de Produção, os de Engenharia Mecânica. ENEGEP 2002 ABEPRO 4 XXII Encontro Nacional de Engenharia de Produção Curitiba – PR, 23 a 25 de outubro de 2002 Tabela 3.1. Números Médios no Triênio 1998/2000 Núcleo docente 89,8 29,8 24,0 23,0 22,0 19,0 18,2 14,5 12,5 12,2 11,3 10,8 10,7 10,5 9,5 9,0 7,7 Cursos Ufsc Ufrj Ufsm Usp Ufscar Unespb Uff Cefet-rj Ufpe Unimep Ufrgs Ufpb-jp Puc-Rio Usp-sc Ufmg Unip Efei MÉDIA DESVIO-PADRÃO Alunos matriculados 1125,8 409,5 80,5 113,8 78,8 25,3 137,0 38,7 18,8 64,8 55,0 59,8 54,3 53,0 39,5 65,7 31,5 19,7 18,6 Docentes em Alunos atas titulados 62,7 209,3 15,3 67,7 6,0 23,3 15,3 45,0 16,0 20,7 13,5 4,0 8,3 19,0 8,0 13,0 7,7 9,0 9,7 11,0 7,3 14,0 8,0 8,7 7,7 24,7 6,7 30,7 5,0 13,0 6,5 16,5 6,3 6,3 144,2 12,4 31,5 260,3 13,0 47,0 Tabela 3.2. Eficiência Relativa ao Grupo de Cursos de Engenharia de Produção Cursos Ufsc Ufrj Ufsm Usp Ufscar Unespb Uff Cefet-rj Ufpe Unimep Ufrgs Ufpb-jp Puc-Rio Usp-sc Ufmg Unip Efei ENEGEP 2002 Eficiência Produtividade radial s/ alunos global s/ alunos 98% 19% 80% 99% 37% 87% 91% 100% 90% 100% 86% 41% 60% 97% 70% 96% 75% 93% 97% 97% 83% 95% 90% 93% 100% 97% 100% 94% 71% 72% 97% 91% 100% 79% ABEPRO Eficiência radial Produtividade c/ alunos global c/ alunos 98% 4% 80% 94% 51% 87% 91% 100% 94% 100% 100% 41% 60% 97% 80% 96% 100% 93% 97% 97% 83% 95% 90% 93% 100% 97% 100% 94% 74% 72% 97% 92% 100% 80% 5 XXII Encontro Nacional de Engenharia de Produção Curitiba – PR, 23 a 25 de outubro de 2002 Tabela 3.3. Eficiência Relativa à Fronteira Ampliada com os Cursos de Mecânica Cursos Ufsc Ufrj Ufsm Usp Ufscar Unespb Uff Cefet-rj Ufpe Unimep Ufrgs Ufpb-jp Puc-Rio Usp-sc Ufmg Unip Efei Eficiência radial s/ alunos 98% 80% 37% 90% 82% 74% 58% 65% 69% 88% 79% 82% 100% 100% 69% 94% 90% Produtividade global s/ alunos Eficiência radial Produtividade c/ alunos global c/ alunos 20% 99% 99% 100% 98% 97% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 99% 98% 80% 51% 90% 82% 94% 58% 68% 100% 88% 79% 82% 100% 100% 69% 94% 90% 3% 96% 99% 99% 98% 97% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 99% As Tabelas acima registram divergências entre os índices produzidos pelas duas abordagens. As diferenças são maiores para os cursos com posições extremas em alguma variável. Efei e Unespb chegam à fronteira DEA na Tabela 3.2 porque apresentam alta produtividade quando se limita o cálculo a um produto, presença em atas de congressos. Sua produtividade na formação de mestres é menor. Ufsc apresenta situação semelhante. O indicador probabilístico, mais abrangente, coloca esses cursos em posição muito diversa. Para a maioria dos cursos, a eficiência DEA não é afetada pela inclusão do número de alunos entre os recursos. Isto significa que os resultados por aluno não são superiores aos resultados por professor. As principais exceções são Ufsm, Unespb e Ufpe, em que este indicador é fortemente afetado pelo pequeno número de alunos. Já no indicador probabilístico, a inclusão de um segundo recurso, pela grande diferença de escala de operação entre Ufsc e os outros cursos, resulta apenas em acentuar a distância do índice desse curso dos demais. O aumento do número de cursos comparados tem como efeito natural o deslocamento das fronteiras. Isto conduz à redução dos índices de eficiência pela DEA para alguns cursos, merecendo destaque, apenas, o deslocamento de Efei para fora da fronteira de eficiência. Pelo critério do afastamento probabilístico da fronteira inferior, o resultado da inclusão dos cursos de Engenharia Mecânica é a elevação dos índices para valores próximos a 100% para todos os cursos, exceto o da Ufsc, que mesmo no conjunto ampliado não consegue um efeito positivo do volume de produtos finais registrados capaz de compensar o efeito negativo da sua escala de recursos empregados. Especialistas são empregados para, com base em dezenas de indicadores extraídos do mesmo conjunto de dados, produzir uma classificação oficial dos cursos em uma escala de 5 níveis. Para comparar as classificações geradas acima com a produzida através dos especialistas, discretizamos as avaliações percentuais das eficiências relativas e das probabilidades globais em 5 classes, considerando empatados cursos em faixas com limites reduzidos sucessivamente a uma taxa de 20%, isto é nas faixas de valores de 80% a 99%, de 64% a 79%, de 52% a 63% e abaixo de 52%. A Tabela 3.4 mostra os coeficientes de correlação de postos de Spearman, os valores em negrito correspondendo a correlações positivas ao nível de significância de 95%. ENEGEP 2002 ABEPRO 6 XXII Encontro Nacional de Engenharia de Produção Curitiba – PR, 23 a 25 de outubro de 2002 Tabela 3.4. Correlações entre Classificações DEA PROBABILIDADE s/ al. c/ al. s/ al. c/ al. s/ al. c/ al. s/ al. c/ al. Oficial c/ mec C/ mec. s/ mec. s/ mec. c/ mec. c/ mec. s/ mec. s/ mec. Oficial dea s/ al. c/ mec. dea c/ al. c/ mec. dea s/ al. s/ mec. dea c/ al. s/ mec. prob. s/ al. c/ mec. prob. c/ al. c/ mec. prob. s/ al. s/ mec. prob. c/ al. s/ mec. 1 47% 1 43% 73% 1 40% 85% 69% 1 21% 48% 83% 71% 1 5% 2% 7% -9% -2% 1 -9% -5% 4% -11% 1% 90% 1 29% 20% 7% -5% -18% 38% 18% 1 22% 27% 10% 10% -5% 25% 4% 93% 1 Na Tabela 3.4, verifica-se que, ao nível de 95%, somente é correlacionada com a avaliação dos especialistas a eficiência relativa da DEA nos modelos com um único input, a força de trabalho docente, com os cursos de Engenharia de Produção junto aos de Engenharia Mecânica. Embora não significativas a altos níveis, nota-se, entretanto, que as correlações com a classificação oficial são maiores para as classificações obtidas através da DEA que para aquelas obtidas através da probabilidade de afastamento de todas as fronteiras inferiores. Além disso, as classificações obtidas através da DEA são todas correlacionadas entre si ao nível de 95%. 4. Produtividade Explicada por Classificação em grupos Nesta seção são apresentados os resultados do ajustamento iterativo de um modelo linear com coeficientes variando ao longo do tempo e das unidades de observação. A partir do segundo ano, 1999, o ajustamento é realizado partindo das estimativas para os coeficientes de produção do ano anterior e atualizando com um fator de correção que varia de acordo com a classificação do curso em um de dois grupos determinados pela proximidade a dois cursos representativos, também escolhidos com base no resultado do ano anterior. O primeiro é aquele de melhor ajustamento ao modelo no ano anterior e o segundo o de maior coordenada no componente ortogonal à direção do primeiro. A equação de observação relaciona o tamanho do corpo docente, medido como na seção anterior, com os mesmos dois produtos ali considerados. O fator de correção é suavizado em função do número de alunos do curso e, quando se acrescentam os cursos de mestrado em Engenharia Mecânica, também em função de um indicador de área. Ao ajustar o modelo apenas aos dados dos cursos de Engenharia de Produção, a estimação dos coeficientes do segundo nível retorna valores não significativos, isto é, somos levados a aceitar que o número de alunos não é relevante. Quando se amplia a amostra, com a inclusão dos cursos de Engenharia Mecânica, entretanto, estes fatores, principalmente o relativo à diferença entre as áreas, tornam-se significativos em um dos grupos. Este grupo é caracterizado por número de docentes publicando mais afastado, para baixo, da média conjunta dos cursos das duas áreas que o número de mestres formados se afasta da respectiva média, em contraposição ao outro grupo em que o número de docentes publicando é relativamente mais alto e os afastamentos são semelhantes nas duas variáveis. As medianas dos coeficientes de produção estimados estão na Tabela 4.1 e os coeficientes estruturais no último ano, para o grupo caracterizado por, relativamente, mais orientações que publicações, na Tabela 4.2. A tabela 4.3 apresenta as produtividades ENEGEP 2002 ABEPRO 7 XXII Encontro Nacional de Engenharia de Produção Curitiba – PR, 23 a 25 de outubro de 2002 explicadas pelo modelo, resultantes do ajustamento final, aos dados de 2000, para os cursos de mestrado em Engenharia de Produção, a primeira com os resultados obtidos quando se ajustam esses cursos isoladamente e a segunda quando se incluem os dados dos cursos de mestrado em Engenharia Mecânica. Tabela 4.1. Medianas das Estimativas Finais para os Coeficientes de Produção docentes publicando alunos titulados sem Engenharia Mecânica Com Engenharia Mecânica 0,72 0,7 0,29 0,31 Tabela 4.2. Coeficientes Beta da Equação do 2º Nível no 2º Grupo Estimativa Desvio-padrão da estimativa Número de Alunos 0,27 0,22 Indicador de Curso de Produção -0,53 0,22 Tabela 4.3. Produtividades Explicadas Primeiro Grupo sem Eng. com Eng. Mecânica cursos Mecânica Ufsc 89% 96% Usp 101% 100% Ufscar 102% 100% Unespb 101% 99% Cefet-rj 100% 99% Unimep 99% 97% Ufrn 100% 99% Segundo Grupo Sem Eng. com Eng. Mecânica cursos Mecânica Ufrj 101% 103% Ufsm 96% 101% Uff 100% 101% Ufpe 99% 99% Usp-sc 100% 100% Ufpb-jp 100% 100% Ufrgs 99% 100% Puc-Rio 100% 100% Ufmg 100% 100% Unip 100% 100% Efei 100% 96% A Tabela 4.1 revela que a correlação parcial do número de docentes publicando em atas de congressos com o número de docentes no curso é mais que o dobro da do número de mestres formados no ano. A Tabela 4.2 mostra que no último ano o coeficiente do indicador de diferença entre as áreas é altamente significativo no segundo grupo, enquanto a hipótese de nulidade do coeficiente do número de alunos seria aceita aos níveis de significância mais elevados. Analisando a Tabela 4.3, verifica-se que a divisão em grupos propiciada pela inclusão dos cursos de Engenharia Mecânica eleva os índices de produtividade dos cursos com índices mais baixos na análise inicial, Ufsc e Ufsm. 5. Conclusão. A aplicação realizada evidencia as diferenças entre os conceitos agregados medidos pelas diferentes abordagens. Constitui-se, deste modo, em exemplo útil para o usuário com dificuldades na interpretação dos resultados através de cada um deles. ENEGEP 2002 ABEPRO 8 XXII Encontro Nacional de Engenharia de Produção Curitiba – PR, 23 a 25 de outubro de 2002 A eficiência pela DEA destaca as unidades com alta produtividade de algum recurso na produção de resultados específicos e julga as demais em referência a esses desempenhos especiais. Aplicando este critério, se estabelecem grandes distâncias entre os cursos analisados. A aplicação do critério probabilístico baseado na exigência de afastamento de todas as fronteiras inferiores resulta em medidas mais próximas, salvo para dois cursos situados na fronteira de excelência DEA e outro muito próximo dela, cuja produtividade se concentra em um único produto. Finalmente a grande homogeneidade do grupo, quando se deixa de lado a influência de variações não explicadas, é demonstrada pela aplicação do critério baseado na produtividade explicada pelo modelo hierárquico. Examinando os dados e os resultados obtidos, é de notar que a oscilação dos valores registrados exige que se leve em conta a presença de efeitos aleatórios, que podem distorcer as medidas geradas pela DEA. Do mesmo modo, a influência desses componentes aleatórios dificulta o ajustamento do modelo mais completo, que só consegue detectar alguma influência do número de alunos sobre os coeficientes de produção do recurso docente em parte dos cursos quando se amplia o volume de dados com a inclusão dos cursos de Engenharia Mecânica. O modelo evidencia, então, a significativa diferença entre os coeficientes da função de produção dos cursos das duas áreas. Referências. Charnes, A., Cooper, W. W. e Rhodes. E. (1978). Measuring the Efficiency of Decision Making Units. European Journal of Operations Research, 2: 429-444 Sant’Anna, A. P. (1999). Modelagem da Produtividade e Gestão da Qualidade Acadêmica. Produção. v.9, p.5 – 11. Sant’Anna, A. P. Qualidade Produtividade e Gratificação de Estímulo à Docência. Anais do XXXIII SBPO, p. 421 – 434. Campos do Jordão, 2001. ENEGEP 2002 ABEPRO 9