ANAIS
GESTÃO DE DESEMPENHO DE SERVIÇOS DE APOIO UNIVERSITÁRIO:
UMA ABORDAGEM MULTICRITÉRIO
SANDRA MARA IESBIK VALMORBIDA ( [email protected] , [email protected] )
UNIVERSIDADE FEDERAL DE SANTA CATARINA
SANDRA ROLIM ENSSLIN ( [email protected] , [email protected] )
UNIVERSIDADE FEDERAL DE SANTA CATARINA
LEONARDO ENSSLIN ( [email protected] , [email protected] )
UNIVERSIDADE FEDERAL DE SANTA CATARINA
Resumo: O objetivo deste trabalho é construir um modelo de Avaliação de Desempenho para
apoiar a gestão do Departamento de Serviços Gerais do Campus Universitário UTFPR. Tratase de estudo de caso de natureza exploratória-descritiva, de abordagem qualiquantitativa,
usando dados primários e secundários e, como instrumento de intervenção, a metodologia
MCDA-C. Foi possível construir um modelo de AD para apoiar a gestão, embasar as tomadas
de decisões do Departamento e permitir visualizar ações de aperfeiçoamento. A análise dos
indicadores utilizados por estudos anteriores demonstrou semelhanças entre os critérios
especificados pelo gestor e os encontrados na literatura; entretanto, particularidades de cada
modelo também foram verificadas.
Palavras-Chave: Serviços de Apoio. Suporte Operacional. Multicritério. MCDA-C.
1. INTRODUÇÃO
Os serviços públicos têm sofrido mudanças no mundo inteiro e também no Brasil,
devido à exigência da sociedade pelo desenvolvimento de serviços com qualidade e eficiência
(TAGLIAPIETRA; SCHMIDT e BERTOLINI, 2010). A mesma demanda é verificada na
prestação de serviços das Instituições de Ensino Superior (IES). As Universidades Federais,
prestadoras de serviços públicos educacionais, também têm recebido questionamentos por
parte da sociedade acerca de seus reais objetivos quanto à ineficiência no uso dos recursos e
quanto à qualidade dos serviços prestados (MARRA e MELO, 2005).
Essas mudanças e exigências fizeram com que os órgãos públicos, no geral,
concentrassem esforços para buscar, adaptar e implantar práticas de Avaliação de
Desempenho da iniciativa privada (SILVA; LEAL e FERREIRA, 2011; SANTOS, 2002).
Atualmente, é comum a utilização de modelos de mensuração de desempenho nas
organizações públicas que procuram fornecer informações aos gestores; entretanto, observamse poucos resultados práticos, ou seja, pouco se utiliza das informações para pautar a gestão
do órgão (FREITAS et al., 2009).
A pouca utilização das informações de desempenho para gestão se dá basicamente por
não estarem os modelos utilizados adequados às necessidades da instituição (COELHO,
2004). Essa não adequação deve-se a fatores, tais como imposição legal do instrumento de
1/17
ANAIS
Avaliação de Desempenho e pelo fato de o gestor não ter participado da construção do
modelo e assim não ter explicitado e organizado os critérios por ele julgados como
necessários para apoiar e explicar sua gestão.
Dessa forma, por não contar com um sistema de gestão adequado, o gestor se vê
obrigado a atuar de forma intuitiva, o que o deixa suscetível a questionamentos sobre as
razões que o levaram a tomar determinada decisão. A inexistência de modelos científicos
adequados à instituição e que explicitem os critérios levados em conta nas decisões expõe a
gestão à ocorrência de problemas, tais como reclamações dos usuários, não execução de
atividades, retrabalhos, custos adicionais e, sobretudo, prejuízo às atividades e à sociedade.
Diante da situação problemática exposta, emerge a seguinte pergunta de pesquisa:
Quais indicadores devem ser considerados para Avaliação de Desempenho de um
departamento universitário, que permita monitorar e aperfeiçoar a gestão desse departamento
e sirva de apoio às tomadas de decisões?
Visando responder à pergunta de pesquisa, estabeleceu-se o seguinte objetivo:
construir um modelo de Avaliação de Desempenho que contribua para monitorar, aperfeiçoar
a gestão e servir de suporte às tomadas de decisão do Departamento de Serviços Gerais do
Campus Universitário UTFPR.
A escolha do Departamento de Serviços Gerais Operacionais, para este estudo de caso,
deu-se por ser esse o setor da Universidade responsável por proporcionar suporte operacional
às atividades de ensino, pesquisa e extensão, por orientar, coordenar e supervisionar os
procedimentos relativos aos serviços gerais do Campus Universitário, planejar as
contratações, coordenar os trabalhos de manutenção dos bens móveis do Campus e
mobiliários administrativos e escolares. Essas atividades, quando não executadas, interferem
na qualidade dos serviços de ensino, pesquisa e extensão prestados pela Universidade.
Este trabalho justifica-se quanto à importância, originalidade e viabilidade (CASTRO,
1977). É importante por buscar a resolução de um problema percebido no contexto da gestão
de um departamento de apoio universitário e pela revisão de literatura realizada que servirá
para comparar os resultados de outros estudos com o resultado deste. A originalidade do
trabalho justifica-se por não ter sido encontrada em nenhum dos artigos consultados a
utilização da Metodologia Multicritério de Apoio à Decisão Construtivista (MCDA-C) como
instrumento de intervenção. Percebe-se viável pela disponibilidade de literatura sobre o tema
e de tempo do pesquisador, e facilidade de acesso aos dados visto que o responsável pelo
Departamento tem interesse na construção do modelo.
Este artigo está organizado da seguinte forma: (i) introdução; (ii) referêncial teórico;
(iii) metodologia da pesquisa; (iv) apresentação e discussão dos resultados; (v) considerações
finais; e referências que fundamentam o estudo.
2. REFERÊNCIAL TEÓRICO
Esta seção destina-se à apresentação do panorama encontrado na revisão de literatura,
da análise crítica dos conceitos acerca do tema Avaliação de Desempenho voltado à área de
suporte operacional e, por fim, aos estudos similares.
2.1 Panorama das publicações científicas sobre o tema
2/17
ANAIS
Por meio do procedimento para seleção de artigos, apresentado na seção 3.2, foram
selecionados 19 artigos considerados alinhados ao tema desta pesquisa. A partir dessa seleção,
foram observadas algumas características desses artigos: (i) encontraram-se 40 autores, dos
quais nenhum foi considerado destaque, haja vista que nenhum participa como autor em mais
de um artigo; (ii) quanto aos periódicos, identificaram-se 13 distintos, dos quais quatro foram
considerados destaque: Contabilidade, Gestão e Governança – 3 artigos; Gestão Universitária
na América Latina – 3 artigos; RAC – Revista de Administração Contemporânea – 3 artigos;
Revista do Serviço Público – 2 artigos; (iii) cabe destacar também que os periódicos Gestão
Universitária na América Latina e Revista do Serviço Público respondem por 30% dos artigos
da amostra, por sua vocação a publicações sobre os temas gestão de universidades e sobre
assuntos voltados à área pública; e (iv) o tema suporte operacional em universidades públicas
é um assunto em amplo crescimento; embora tenha publicações distribuídas entre os anos de
1997 a 2011, houve crescimento de publicações no ano de 2011 (seis artigos), o que significa
que isso vem sendo discutido atualmente pela comunidade científica.
2.2 Suporte Operacional
A gestão da área de suporte operacional em uma universidade envolve a prestação de
serviços necessários ao cumprimento dos objetivos da instituição, os quais geralmente são
destinados a atender às atividades de ensino, pesquisa e extensão (GUIMARÃES, PINHO e
LEAL, 2010). Esses serviços envolvem limpeza de ambientes internos e externos, vigilância e
segurança, manutenção de instalações físicas, de rede hidráulica, elétrica e arquitetônica,
engenharia, suporte à realização de eventos, gestão ambiental e de resíduos, dentre outras
atividades de suporte aos objetivos estratégicos do campus. O responsável por esse setor deve
concentrar esforços na organização das atividades e no planejamento, bem como agir
proativamente para redução do tempo de execução das atividades e na prevenção de falhas
nos serviços executados (SULLIVAN e MCDONALD, 2011; PEÑA; 2008; MACEDO e
CAVALCANTE, 2009; FADUL, 1997), também deve prestar atenção na garantia da
qualidade do serviço prestado.
As decisões tomadas por esse setor geralmente envolvem a resolução de problemas de
rotina, contudo envolvem um grande contingente de pessoas da comunidade acadêmica,
sendo, dessa forma, de extrema importância para a gestão da universidade devido à influência
de as atividades desenvolvidas afetarem toda a comunidade acadêmica. Assim, o gestor deve
ter critérios previamente estabelecidos que o auxiliem na fundamentação de suas decisões.
Além disso, esse setor deve adotar práticas gerenciais e critérios para tomada de decisões que
viabilizam o alcance dos objetivos organizacionais (MARRA e MELO, 2005; GUIMARÃES;
PINHO e LEAL, 2010). Para alcançar esses objetivos, necessitam valer-se de instrumentos de
medição de desempenho em sua gestão.
2.2.1 Avaliação de Desempenho
Avaliar desempenho constitui um processo complexo que incorpora as características
informativas necessárias para julgar adequadamente um desempenho, bem como requisitos
essenciais para integrar o processo de gestão em suas fases de planejamento, execução e
controle (PEREIRA, 1993 apud NASCIMENTO; REGINATO e LERNER, 2008). Além
disso, Freitas et al. (2009, p. 278) lembram que devem ser consideradas as diferenças
institucionais.
3/17
ANAIS
Dessa forma, cada organização deve desenvolver sua maneira de avaliar seu
desempenho e adotar métricas e padrões que melhor se adaptem aos objetivos e modelo de
gestão. A Avaliação de Desempenho Organizacional deve estar aliada à estratégia da empresa
(LOPES; LORENZETT e PEREIRA, 2011; RODRIGUES, 2006; GAIO e DUCLOS, 2011),
pois, de acordo com a estratégia adotada pela empresa, serão desenvolvidos os parâmetros de
avaliação.
Dentre as motivações para avaliar desempenho, Silva, Leal e Ferreira (2011, p. 42)
citam que “[a]s organizações medem seus desempenhos para: a) avaliar o atendimento aos
requisitos dos clientes/usuários; b) avaliar o atendimento aos requisitos da organização; e c)
ter um instrumento efetivo de gerenciamento, a fim de identificar deficiências e oportunidades
de melhorias”.
Dessa forma, com a utilização de um sistema de Avaliação de Desempenho, os
gestores públicos e privados passam a dispor de meios para mensurar a satisfação dos seus
usuários e o atingimento dos objetivos da organização, bem como possibilita aprimorar suas
decisões, alicerçadas em dados consistentes e cientificamente mensuradas, podendo
regularmente impor as ações corretivas porventura necessárias no curso das atividades
organizacionais (SILVA; LEAL e FERREIRA, 2011).
Assim, ao criar uma sistemática de avaliação para seu desempenho operacional, a
empresa deve divulgá-la de forma clara e objetiva para todos aqueles que, de alguma forma,
sejam afetados por esse processo (NASCIMENTO; REGINATO e LERNER, 2008;
LUBAMBO, 2006). Os autores lembram ainda que é possível comparar e corrigir suas ações,
e que os objetivos estratégicos devem ser mensuráveis, abertos às influências, aceitáveis pelas
pessoas da organização, em alinhamento com o horizonte traçado e compartilhado, com a
cultura de negócio e com disponibilidade de conhecimento e habilidades para sua realização.
Dessa forma, torna-se imprescindível a adequada escolha dos indicadores que responderão
pelo desempenho.
2.2.2 Indicadores utilizados para Avaliação de Desempenho no suporte operacional
Os indicadores de desempenho são escalas que permitem comparar metas
preestabelecidas com os resultados alcançados, sinalizam em que grau as diversas equipes e
áreas estão aproximando-se de uma condição de desempenho desejada (SILVA; LEAL e
FERREIRA, 2011; NASCIMENTO; REGINATO e LERNER, 2008; FREITAS et al., 2009;
RIBEIRO FILHO, 2003).
Os indicadores devem estar sempre associados às áreas do negócio, em consonância
com os objetivos estratégicos e intimamente ligados à qualidade da prestação de serviço e
observáveis pelo usuário em vista da excelência (GAIO e DUCLOS, 2011). Assim, construir
indicadores de desempenho significa estabelecer padrão para mensurar a evolução do objetivo
estratégico, com o intuito de monitorar seu desempenho, que somente será atingido
satisfatoriamente se forem construídos segundo a realidade vivenciada pela organização e de
acordo com as preferências do gestor.
Quanto à forma de definição dos indicadores de desempenho, Gaio e Duclos (2011, p.
190) apresentam que
A definição de indicadores requer uma metodologia consistente, capaz de observar:
a relevância; a simplicidade e a clareza; a abrangência; a rastreabilidade; a
4/17
ANAIS
comparabilidade; a rapidez em ser gerado; a confiabilidade e o baixo custo de
obtenção, assim, devem avaliar a estratégia pretendida e não serem estipulados pela
sua facilidade ou disponibilidade.
Dessa forma, os indicadores de desempenho serão atingidos e serão úteis ao processo
de gestão e tomada de decisão. Na revisão de literatura realizada, foram encontrados vários
indicadores, conforme apresentado no Quadro 1.
Quadro 1: Indicadores utilizados para avaliar a área de suporte operacional
Indicadores utilizados para avaliar a
área operacional
Treinamento e capacitação de
trabalhadores
Absenteísmo
(ausência
de
trabalhadores ao local de trabalho);
Horas ociosas dos empregados
Acidentes de trabalho e segurança no
trabalho
Atendimento ao cliente
Gestão de desempenho de
instalações
Número de reclamações de
clientes
Qualificação
dos
trabalhadores
Eficiência operacional
Retrabalho nas solicitações de
serviços
Rotatividade de funcionários
Incidentes diários reportados
Disponibilidade de instrumentos para
realização de serviços
Modernização Pq. Industrial e
Investimentos em novas tecnologias
Qualidade dos serviços
Satisfação do cliente com a
limpeza
Satisfação do cliente com
segurança pessoal
Tempo execução serviço
Satisfação
e
motivação
trabalhadores
Controle de Estoques
Consumo de insumos por
departamento
Custo de manutenção por
metro quadrado
dos
Falhas em equipamentos
Implantação do 5S
Manutenção preventiva X trabalhos
de manutenção
Numero de chamadas de serviços
realizadas
Ordenação de prioridades de serviços
Produtividade de serviços
Proteção Ambiental;
Qualificação dos fornecedores
Fonte: Elaborado pelos autores.
Os indicadores encontrados referem-se à avaliação da área operacional nos estudos
analisados e servirão de referência para este estudo, a fim de comparar o que foi encontrado
na literatura e no estabelecido no modelo de Avaliação de Desempenho proposto.
2.3 Estudos Similares
Dentre os artigos selecionados, buscou-se verificar o que estava sendo discutido sobre
o tema no meio acadêmico. O objetivo do presente estudo é construir um modelo de
Avaliação de Desempenho que, ao mesmo tempo, oportunize ao decisor expandir seu
entendimento sobre o contexto e também identifique, mensure e integre os aspectos julgados
pelo gestor como relevantes para monitorar e aperfeiçoar a gestão do departamento de
serviços operacionais de um campus universitário.
Dessa forma, foram analisados os artigos da amostra em termos de similaridade e
divergência com o presente estudo, os quais são apresentados no Quadro 2.
Quadro 2: Similaridade e divergência com o presente estudo
Autor
Sheehan;
Similaridade e divergência com o presente estudo
O estudo analisa o setor de manutenção predial e define indicadores que responde pelo
5/17
ANAIS
Vaidyanathan
e
Kalagnanam (2009)
desempenho de uma universidade. Utiliza como instrumento de intervenção o
Balanced Scorecard (BSC). Entretanto, não realiza a mensuração para conhecer a
situação atual, nem propõe ações para melhoria da gestão, limitando-se apenas a
identificar os indicadores.
Grigoroudis;
Desenvolvimento de um modelo de Avaliação de Desempenho utilizando como
Orfanoudaki
e ferramenta o Balanced Scorecard (BSC) para avaliação de serviços de apoio de um
Zopounidis (2012)
centro hospitalar. A partir dos indicadores, identifica o perfil da situação atual em cada
indicador, porém, não integra os mesmos numa avaliação global, nem propõe ações
para melhoria do desempenho.
Sullivan e McDonald Construção de uma metodologia de Avaliação de Desempenho, em conjunto gestor e
(2011)
colaboradores, para gestão de instalações em uma fábrica, focando principalmente a
melhoria do desempenho operacional da fábrica e satisfação dos trabalhadores.
Entretanto, limita-se a verificar quantidade de reclamações registradas antes e depois
de implementado os critérios de avaliação.
Silva, Leal e Ferreira Desenvolvimento de um modelo de gestão estratégica, utilizando como instrumento de
(2011)
intervenção o Balanced Scorecard (BSC), para o departamento de serviços de um
órgão prestador de serviços para a Marinha do Brasil.
Fonte: Elaborado pelos autores.
Conforme se observa no Quadro 2, os estudos analisados deixam de atender a algumas
das exigências da Avaliação de Desempenho, que consiste no processo de, em conjunto com o
gestor, identificar os critérios a serem mensurados, mensurar, integrar indicadores, identificar
a situação atual e propor ações que gerem oportunidade de aperfeiçoamento da gestão,
conforme proposto por Ensslin et al. (2010), sendo assim divergem do presente estudo que
procura construir um processo de Avaliação de Desempenho atendendo a esses critérios.
Em relação à similaridade quanto ao instrumento de intervenção, constatou-se que, das
metodologias utilizadas pelos artigos da amostra, embora sejam Multicritério, nenhuma utiliza
como instrumento de intervenção a Metodologia MCDA-C, usada neste trabalho.
3. METODOLOGIA
Esta seção destina-se à apresentação do enquadramento metodológico, dos
procedimentos para seleção do material para compor o referencial teórico, dos procedimentos
para coleta e análise dos dados e do instrumento de intervenção utilizado para a construção do
modelo de Avaliação de Desempenho.
3.1 Enquadramento Metodológico
Nesta seção, apresenta-se o enquadramento metodológico quanto aos objetivos do
trabalho, à lógica, ao processo de pesquisa, aos procedimentos técnicos e ao instrumento de
intervenção da pesquisa, conforme apresentado no Quadro 3.
Quadro 3: Enquadramento Metodológico
Quanto a
Objetivos
Classificação
Exploratória e
Descritiva
Justificativa
Exploratória: Busca conhecer as particularidades do
contexto, identificar suas particularidades e objetivos para
construir indicadores que consigam avaliar o desempenho; e
Descritiva: por cotejar os indicadores de desempenho
construídos neste estudo de caso com aqueles encontrados nos
estudos similares.
6/17
Referência
Vieira
(2002)
ANAIS
Lógica
Indutiva
Processo:
Coleta
de
Dados
Processo:
Abordagem
do Problema
Dados
Primários e
secundários
Qualitativa e
Quantitativa
Procedimento
s técnicos
Estudo de caso
Pesquisa de
Campo
MCDA-C
Instrumento
de
Intervenção
Pois, não eram conhecidas quais as variáveis deveriam ser
usadas para avaliar o desempenho e decidiu-se usar uma
ferramenta que, na sua fase de estruturação, auxilia na
definição de quais variáveis serão utilizadas para avaliar o
desempenho, construídas pelas percepções do decisor.
Primários: Coletados in loco através de entrevistas com o
gestor; e Secundários: fase de avaliação onde serão coletados
os dados nos documentos e registros do departamento.
Qualitativa: fase de estruturação – conhecimento do
contexto; fase de recomendação – proposta de ações para
alavancar o status quo do DESEG - e, Quantitativa: fase de
avaliação – construção de escalas, taxas de compensação e
avaliação global;
Pretende-se construir um modelo personalizado para a gestão
do departamento de serviços gerais de um campus; e
Coleta de Dados in loco.
Por não ter sido encontrada nos estudos analisados uma
ferramenta de Avaliação de Desempenho, que permita ao
gestor conhecer as potencialidades que o oriente na melhoria
dos aspectos julgados importantes dentro do contexto.
Iudícibus
(2004)
Richardson
(1999)
Richardson
(1999)
Yin (2001)
Gil (1999)
Ensslin et
al. (2010)
Fonte: Elaborado pelos autores.
A coleta de dados foi possível por meio de entrevistas abertas realizadas com o chefe
do Departamento de Serviços Gerais do Campus Universitário da UTFPR, a fim de conhecer
as atividades desenvolvidas pelo departamento de Suporte Operacional e identificar as
variáveis que respondem pelo desempenho dessas atividades para construção do modelo. O
tratamento das entrevistas deu-se por: transcrição da fala do diretor; leitura e análise da
comunicação e segregação por preocupações; e classificação das preocupações por categorias.
3.2 Procedimentos para seleção do material que irá compor o referencial teórico
Para seleção de material para compor o referencial teórico sobre o tema suporte
operacional de universidade pública, procedeu-se a uma busca (i) nos periódicos Revista de
Gestão Universitária da América Latina e Revista do Serviço Público, vocacionada na gestão
pública; (ii) na base de dados Scielo, que abrange vários periódicos brasileiros; (iii) na base de
dados Web of Science (ISI); e (iv) SCOPUS, as duas últimas disponíveis no Portal de
Periódicos da CAPES.
Realizou-se a pesquisa no site desses periódicos somente em artigos, que contivessem
nas palavras-chave, no título, no resumo e nas palavras-chave dos artigos, sendo estas: (i)
serviços de suporte; (ii) serviços de apoio; (iii) serviços operacionais; (iv) suporte
operacional; (v) suporte; (vi) operacional. Essa busca resultou num total de 2.715 artigos.
Após a coleta dos artigos, foi verificado o alinhamento destes com a pesquisa pela leitura do
título, do resumo dos artigos e pela leitura integral do artigo. Ao final desse processo, 19
artigos foram considerados alinhados com o tema deste estudo e servirão de base para
confecção do referencial teórico.
3.3 Caracterização do objeto de estudo de caso
O Departamento de Serviços Gerais (DESEG) é responsável pelo suporte operacional
às atividades de ensino, pesquisa e extensão do Campus Universitário em questão. Faz parte
7/17
ANAIS
de suas atribuições orientar, coordenar e supervisionar os procedimentos relativos aos
serviços gerais e as terceirizações, planejar as contratações, coordenar os trabalhos de
manutenção dos bens móveis do Campus e mobiliários administrativos e escolares. Essas
atividades, quando não executadas, interferem na qualidade dos serviços de ensino, pesquisa e
extensão prestados pela Universidade.
Sua organização administrativa está composta por duas divisões: (i) Divisão de
Conservação de Bens Móveis, responsável por executar, acompanhar e fiscalizar os serviços
de conservação dos bens móveis do Campus e realizar a manutenção corretiva e preventiva
nos equipamentos de uso geral, exceto os de informática, manter informada a Divisão de
Patrimônio das movimentações realizadas dos bens móveis do Campus; (ii) Divisão de
Serviços Auxiliares, responsável por executar, acompanhar e fiscalizar os serviços de
limpeza, vigilância, recepção, telefonia, transporte, arquivo geral e expedição de documentos
e Restaurante Universitário do Campus; autorizar, controlar e fiscalizar o fluxo de pessoas e
empresas prestadoras de serviços; apoiar a organização dos eventos realizados; controlar a
agenda da frota, manter os veículos em bom estado de conservação; receber, selecionar,
registrar, distribuir e expedir a correspondência e o malote do Campus; controlar e manter
atualizado o cadastro dos ramais telefônicos instalados e zelar pelas áreas verdes do Campus
(INSTITUIÇÃO, 2011).
Como se percebe, as atribuições do Departamento de Serviços Gerais são bastante
amplas, e essa amplitude exige organização, responsabilidade, comprometimento e eficácia na
atuação dos servidores lotados, tendo em vista que sua não realização compromete a execução
das demais atividades do Campus.
3.4 Instrumento de Intervenção
Para a gestão do Departamento objeto de estudo, faz-se necessário a construção de
modelo de Avaliação de Desempenho. Para isso decidiu-se adotar a Metodologia Multicritério
de Apoio à Decisão Construtivista (MCDA-C). A construção do modelo segue as três fases da
MCDA-C: (i) Fase de Estruturação; (ii) Fase de Avaliação; e (iii) Fase de Recomendações
(Ensslin et al. 2011b), conforme Figura 1 Erro! Fonte de referência não encontrada..
Figura 1: Fases da metodologia MCDA-C
8/17
ANAIS
Fonte: Ensslin et al. (2010).
Percebe-se pelo exposto na Figura 1 que a proposta da MCDA-C é apoiar a decisão de
forma contínua e interativa, de forma dinâmica e recursiva, não sendo o processo de tomada
de decisão linear e sequencial (DUTRA et al., 2009). Ou seja, a condução do processo de
apoio à decisão deve ser cíclica e dinâmica, ocorrendo a retroalimentação em todas as fases da
metodologia.
A fase de estruturação objetiva a aprendizagem sobre o contexto e inicia com a
geração de conhecimento em explicitar o que para o gestor é importante ser medido, para que
suas preferências sejam incorporadas na construção do modelo. Essa fase subdivide-se em três
etapas: (i) abordagem “soft” para estruturação: envolve o processo de reconhecimento da
problemática pelo posicionamento do contexto em relação ao mundo, por meio da
identificação dos atores e rótulo do modelo (LACERDA, ENSSLIN e ENSSLIN, 2011a); (ii)
família de pontos de vista, onde são identificados os Elementos Primários de Avaliação
(EPAs) (BORTOLUZZI, ENSSLIN e ENSSLIN, 2011); a direção de preferência representada
pelos EPAs, assim como seu oposto psicológico para entender à consequência subjacente ao
objetivo que o decisor deseja evitar, que se denomina conceito ou conceito orientado para a
ação; os conceitos representam preocupações estratégicas e convergem com preocupações
similares, os quais são agrupados por Áreas de Preocupação, formando a estrutura hierárquica
de valor chamada Família de Pontos de Vista Fundamentais – FPVF (BORTOLUZZI,
ENSSLIN e ENSSLIN, 2010); e (iii) construção dos descritores (que é realizada por meio: (a)
da identificação das relações de hierarquia e das relações de influência entre os conceitos; (b)
da construção dos mapas cognitivos (MONTIBELLER e BELTON, 2009; MONTIBELLER,
SHAW e WESTCOMBE, 2006); (c) da identificação dos clusters e subclusters; (d) da árvore
de valor com PVEs; (e) da construção das escalas ordinais; (f) do estabelecimento dos níveis
de referência, em cada escala ordinal (ENSSLIN et al., 2010).
A fase de avaliação objetiva traduzir a percepção do(s) decisor(es) em um modelo
matemático (DA ROSA et al., 2011). Nessa fase é que se faz o levantamento de dados e a
9/17
ANAIS
mensuração dos itens identificados na fase de estruturação. Esta é subdividida em cinco
etapas: (i) Análise de independência ordinal e cardinal que é realizada para todas as escalas
que devem ser testadas para o intervalo entre os níveis de referência quanto à independência
preferencial cardinal ou isolabilidade antes de seguir para a construção das escalas cardinais e
sua integração (LACERDA, ENSSLIN e ENSSLIN, 2011a); (ii) construção das funções de
valor para cada descritor (escala ordinal) que consiste em agregar informações do juízo de
valor preferencial do decisor (BORTOLUZZI, ENSSLIN e ENSSLIN, 2011). O decisor
informa a diferença de atratividade entre todas as possíveis combinações dos níveis de cada
escala, ou seja, dos descritores (escalas ordinais). Com a ajuda do software M-Macbeth
(BANA e COSTA et al., 1999), constroem-se escalas cardinais que atendam a todos os juízos
de preferências do decisor, estas escalas denominam-se Funções de Valor
(GRZEBIELUCKAS et al, 2011), esta ação não permite comparar mensurações entre
escalas); (iii) identificação das taxas de compensação para a estrutura hierárquica que se
deseja integrar e definir as taxas que representam o juízo de valor preferencial do decisor,
determinam-se as alternativas potenciais, associadas à contribuição da passagem do nível de
referência inferior (Neutro) para o nível de referência superior (Bom), ordenam-se as
alternativas e colocam-nas em uma matriz na qual e ao decisor expressa a diferença de
atratividade por ele percebida entre elas utilizando a escala semântica proposta pelo MMacbeth); (iv) ao final, identifica-se o perfil de impacto das alternativas (AZEVEDO et al.,
2011); e (v) análise de sensibilidade (ZAMCOPÉ et al., 2010).
A fase de recomendações objetiva, fundamentalmente, demonstrar o processo de
geração de possibilidades potenciais que visam melhorar o desempenho em relação ao status
quo (DA ROSA et al., 2011). Na etapa de recomendações, a Metodologia MCDA-C fornece
os meios para o decisor: (i) identificar onde é conveniente atuar; (ii) desenvolver um processo
que gere ações de aperfeiçoamento; (iii) visualizar as consequências da implementação em
nível local ou operacional (no PVE), em nível tático (no PVF) e estratégico (Global)
(ENSSLIN et al., 2010). É nessa etapa que é utilizado todo o conhecimento gerado até então
para traçar estratégias para que contribuam para a melhoria no desempenho da gestão
(DELLA BRUNA JUNIOR, ENSSLIN e ENSSLIN, 2011). Nessa fase, são explicitados os
aspectos identificados, quando da definição do status quo na fase de avaliação, como
comprometedores da gestão, ou seja, as áreas que necessitem da atuação do gestor para
melhorar a avaliação definida pelo modelo, no que diz relação a ações em nível estratégico,
tático ou operacional.
4. APRESENTAÇÃO E DISCUSSÃO DOS RESULTADOS
Nesta seção, serão apresentados os resultados da pesquisa que contemplam a
construção do modelo de Avaliação de Desempenho (AD) para a gestão do Departamento de
Suporte Operacional e análise dos indicadores utilizados em estudos anteriores.
4.1 Construção do Modelo de Avaliação de Desempenho utilizando o MCDA-C
A partir da entrevista feita com o gestor do Departamento em estudo, iniciou-se a
construção do modelo de AD. Na fase de estruturação do modelo, foi possível conhecer a
problemática acerca da dificuldade da gestão e das tomadas de decisão por não ter um sistema
que fundamente suas decisões e monitore o desempenho do Departamento. Atribuiu-se um
10/17
ANAIS
rótulo e definiram-se os atores envolvidos. Em seguida, identificaram-se os elementos
primários de avaliação (FPFV), os quais se transformaram em 46 conceitos que foram
agrupados em duas áreas de preocupação: Recursos Operacionais e Resultados Operacionais,
e construídos os Mapas de Relações Meios Fim que permitiram gerar para cada conceito um
descritor que contemplam as preocupações do gestor. Definiu-se nos descritores o nível de
referência. Assim, encerrou-se a fase de estruturação o que permite realizar a Avaliação de
Desempenho da gestão, que é a mensuração dos itens identificados na fase de estruturação.
Na fase de avaliação, analisou-se a independência preferencial ordinal e cardinal e
constatou-se que nenhum descritor era dependente de outro. Assim, foram transformadas as
escalas ordinais em cardinais com a construção das funções de valor e da agregação do juízo
de valor do gestor acerca da diferença de atratividade entre os níveis dos descritores
construídos. Definiram-se as taxas de compensação para os descritores vinculados à mesma
estrutura hierárquica de valor. Após serem identificadas as taxas de substituição, foi realizada
a avaliação global, formada pela agregação aditiva dos modelos de cada PVF. Nesse caso, a
equação do modelo global para o VSuporteOperacional (a ) é:
= 0,45VRecursosOperacionais{0,44VPessoas(a) + 0,26VInsumos(a) + 0,13VInstrumentos (a) + 0,17VInfraestrutura(a}+ 0,55VResultadosOperacionais(a)
O resultado da equação representa a avaliação global do modelo, que identifica a
situação em que se encontra o Departamento de Suporte Operacional, frente a cada um dos
indicadores. A pontuação obtida em cada indicador é multiplicada pela taxa de compensação
estabelecida. Somando os valores de cada indicador, obteve-se a pontuação de 62 pontos,
numa escala de 0 a 100. Esse valor representa a integração de todos os indicadores e responde
pela avaliação global do modelo, conforme demonstrado na Figura 2.
Figura 2: Estrutura Hierárquica de Valor com os PVFs, PVEs, Descritores, Taxas de
Compensação e Avaliação Global
Fonte: Dados da Pesquisa.
11/17
ANAIS
A análise individual de cada descritor em termos da pontuação obtida e da posição em
que ele se encontra, em relação aos níveis de referência estabelecidos (nível de excelência, de
mercado e comprometedor), informa ao gestor quais são as áreas que necessitam de atuação
para aperfeiçoamento da gestão.
A fase de recomendações atua na identificação de quais indicadores encontram-se no
nível comprometedor, os quais indicam a necessidade de atuação do gestor por
comprometerem a avaliação global. A partir dessa identificação, foram propostas ações que
orientassem a melhoria do desempenho da preocupação representada pelo descritor.
No caso em estudo, identificou-se que os indicadores que se situam na zona
comprometedora estavam relacionados à capacitação de pessoal; disponibilização de
instrumentos para realização de serviços e infraestrutura à disposição inadequada. Como
exemplo das alternativas propostas para atingir melhorias, citam-se: promoção de cursos e
treinamentos para os servidores efetivos e terceirizados; elaboração de projetos para obtenção
de recursos para aquisição de equipamentos necessários à realização dos serviços; ampliação
do espaço físico disponível para a realização das atividades do Departamento. Essas
alternativas, se implantadas, além de melhorarem a avaliação global da gestão do
Departamento de Serviços Gerais, ainda contribuirão para a melhoria da qualidade dos
serviços prestados pelo Departamento.
4.1 Análise dos Indicadores de Desempenho
Esta subseção destina-se à avaliação dos indicadores de desempenho construídos por
este estudo de caso em comparação com outros estudos anteriores similares encontrados na
literatura. Esses indicadores utilizados neste estudo de caso estão demonstrados no Quadro 4,
ordenados por ordem de frequência nos estudos.
Quadro 4: Indicadores de desempenho da area operacional
Indicadores utilizados para avaliar a área
operacional
Treinamento
e
capacitação
de
trabalhadores
Absenteísmo (ausência de trabalhadores
ao local de trabalho); horas ociosas dos
empregados
Acidentes de trabalho e segurança no
trabalho
Atendimento ao cliente
Disponibilidade de instrumentos para
realização de serviços
Modernização parque industrial e
investimentos em novas tecnologias
Qualidade dos serviços
Sheehan;
Vaidyanathan e
Kalagnanam
(2009)
Grigoroudis;
Orfanoudaki
e Zopounidis
(2011)
X
X
Silva,
Leal e
Ferreira
(2011)
Estudo
atual
(2012)
X
X
X
X
X
X
X
Sullivan e
McDonald
(2011)
X
X
X
X
X
X
Satisfação e motivação dos trabalhadores
X
X
X
X
X
X
X
X
Controle de estoques
X
X
X
12/17
X
X
ANAIS
Gestão de desempenho de instalações
X
X
Número de reclamações de clientes
X
X
Qualificação dos trabalhadores
X
X
Retrabalho nas solicitações de serviços
X
X
Rotatividade de funcionários
X
Satisfação do cliente com a limpeza
X
X
X
X
Satisfação do cliente com segurança
pessoal
Tempo execução dos serviços
X
Consumo de insumos por departamento
X
Custo de manutenção por metro quadrado
X
Disponibilização de servidores
execução de serviços
Eficiência operacional
X
X
para
X
X
Falhas em equipamentos
X
Implantação do 5S
X
Incidentes diários reportados
Manutenção preventiva versus trabalhos
de manutenção
Número de chamadas de serviços
realizadas
Ordenação de prioridades de serviços
X
X
X
X
Produtividade de serviços
X
Proteção ambiental;
X
Qualificação
do
líder (formação,
liderança e proatividade)
Qualificação dos fornecedores
X
X
Fonte: Dados da Pesquisa.
Conforme apresentando no Quadro 4, há semelhanças quanto aos indicadores
utilizados nos estudos analisados. Dos 32 indicadores identificados, 53% foram visualizados
em mais de dois trabalhos. As áreas de Recursos Humanos, volume e qualidade dos serviços
prestados, satisfação de clientes e infraestrutura disponibilizada concentram 78% dos
indicadores definidos.
Dentre os indicadores voltados à área de Recursos Humanos, 80% dos trabalhos
levaram em consideração a necessidade de treinamento e capacitação de pessoal, bem como
se preocuparam com as faltas dos trabalhadores ao trabalho ou ainda com a ociosidade
durante o expediente. Em 60% dos estudos, consideram a satisfação e motivação dos
trabalhadores, a ocorrência de acidentes e a segurança do local de trabalho. Esse resultado era
esperado, haja vista que os serviços são realizados por pessoas e é natural que a preocupação
com os trabalhadores esteja contemplada no sistema de avaliação.
Também era esperado o grande volume de descritores focados na avaliação da
qualidade e mensuração do volume de serviços produzidos, bem como na satisfação dos
13/17
ANAIS
clientes, haja vista que esta é a razão da existência do Departamento de Serviços Gerais,
prestar serviços necessários para suporte às demais atividades do Campus Universitário e
descritores que avaliassem a infraestrutura disponibilizada para a realização desses serviços.
De modo geral, os resultados encontrados por este estudo e os anteriores analisados
são semelhantes. Porém algumas diferenças foram observadas neste estudo de caso: (i) alguns
indicadores foram observados apenas no estudo de caso ora realizado, tais como
disponibilização de servidores para execução dos serviços e qualificação do líder em termos
de formação, perfil de liderança e proatividade na realização de sua função; (ii) este estudo de
caso não levou em consideração alguns critérios amplamente utilizados pelos demais
trabalhos, como, por exemplo, satisfação e motivação dos trabalhadores, acidentes e
segurança do trabalho, rotatividade de funcionários, tempo de execução dos serviços,
consumo de insumos e custo de manutenção. Cabe salientar que a análise dos resultados
obtidos em cada estudo deu-se apenas a título de geração de conhecimento no sentido de
embasar posterior reflexão do gestor da DESEG quanto à necessidade, ou não, de considerar
algum dos indicadores ora não importantes, haja vista que, como dito anteriormente, o método
de Avaliação de Desempenho deve ser elaborado a partir da visão do gestor, o qual irá utilizar
as informações geradas pelo sistema e contemplar as particularidades da instituição, sob o
risco de não ser útil ao processo decisório e não representar adequadamente a situação atual
da gestão.
5. CONSIDERAÇÕES FINAIS
O presente estudo teve como objetivo construir um modelo de Avaliação de
Desempenho para apoiar a gestão do Departamento de Serviços Gerais do Campus
Universitário UTFPR. Para atingir esse objetivo, escolheu-se como instrumento teóricometodológico de intervenção a Metodologia MCDA-C. A partir dos preceitos da Metodologia
e das entrevistas com o gestor, foi possível a construção do modelo, que se iniciou com a
geração de conhecimento sobre o contexto por meio da identificação e estruturação das
informações obtidas, em seguida foram construídos 30 indicadores para representar as
preocupações identificadas na fase de estruturação do modelo.
Na fase de avaliação, foram transformados os descritores em escalas cardinais e
agregado juízo de valor a elas, para que fosse possível integrar os descritores em um único
indicador. Fez-se um diagnóstico da situação atual da gestão, na qual se verificou que esta
possui uma pontuação de 62 pontos, numa escala de 0 a 100 pontos. A partir desse
diagnostico, foi possível identificar ações necessárias ao aprimoramento da gestão para as
quais se propuseram ações de aperfeiçoamento.
Dessa forma, entende-se cumprido o objetivo deste trabalho que pretendia construir
um modelo de Avaliação de Desempenho que contribuísse para monitorar, aperfeiçoar a
gestão e servisse de suporte às tomadas de decisão do Departamento de Serviços Gerais de um
campus universitário pela participação do gestor no processo de construção do modelo, na
explicitação dos critérios a serem levados em conta na mensuração dos resultados. Entende-se
que foi contemplada a particularidade do decisor e do contexto avaliado.
Após a construção do modelo, foram analisados os indicadores utilizados em alguns
estudos anteriores e comparado com os indicadores identificados neste estudo de caso. Com
isso, foi respondida a questão norteadora da pesquisa. Entretanto, cabe salientar que, para
14/17
ANAIS
cada modelo de Avaliação de Desempenho, devem ser analisadas as particularidades do
contexto a ser avaliado, bem como os gestores envolvidos no processo. Os resultados deste
trabalho não podem ser generalizados para outros contextos, sem que haja uma adaptação às
especificidades do novo contexto. Essa singularidade é considerada como limitação da
pesquisa, pelo fato de que o modelo foi construído para o gestor de um departamento
específico, de uma IES específica.
REFERÊNCIAS
AZEVEDO, R. C.; ENSSLIN, L.; LACERDA, R. T. O.; FRANÇA, L. A.; GONZÁLEZ, C. J. I.;
JUNGLES, A. E.; ENSSLIN, S. R. Avaliação de Desempenho do processo de orçamento: estudo de
caso em uma obra de construção civil. Ambiente Construído (Online), v. 11, p. 85-104, 2011.
BANA e COSTA, C. A.; ENSSLIN, L.; CORRÊA, E. C.; VANSNICK, J. C. Decision Support
Systems in action: Integrated application in a multicriteria decision aid process. European Journal of
Operational Research, v. 113, n. 2, p. 315-335, 1999.
BORTOLUZZI, S. C.; ENSSLIN, S. R.; ENSSLIN, L. Avaliação de Desempenho dos aspectos
tangíveis e intangíveis da área de mercado: Um estudo de caso em uma empresa de médio porte.
RBGN-Revista Brasileira de Gestão de Negócios, v. 12, n. 37, p. 425-446, 2010.
BORTOLUZZI, S. C.; ENSSLIN, S. R.; ENSSLIN, L. Avaliação de Desempenho multicritério como
apoio à gestão de empresas: aplicação em uma empresa de serviços. Gestão & Produção, v. 18, n. 3,
p. 1-18, 2011.
COELHO, E. M. Gestão do Conhecimento como sistema de gestão para o setor público. Revista do
Serviço Público, v. 55, p. 89-111, 2004.
DA ROSA, F. S.; ENSSLIN, S. R.; ENSSLIN, L.; LUNKES, R. J. Gestão da evidenciação ambiental:
Um estudo sobre as potencialidades e oportunidades do tema. Engenharia Sanitária e Ambiental , v.
16, n. 2, p. 157-166, 2011.
DELLA BRUNA JR, E.; ENSSLIN, L.; ENSSLIN, S. R. Supply chain performance evaluation: A
case study in a company of equipment for refrigeration. Technology Management Conference
(ITMC), IEEE International 2011. San Jose, CA. p. 969-978.
DUTRA, A.; ENSSLIN, S. R.; ENSSLIN, L.; LIMA, M. V. A. A Incorporação da Dimensão
Integrativa nos Processos de Avaliação do Desempenho Organizacional: Um Estudo de Caso. Revista
Contemporânea de Contabilidade, v. 1, p. 109-136, 2009.
ENSSLIN, L.; GIFFHORN, E.; ENSSLIN, S. R.; PETRI, S. M.; VIANNA, W. B. Avaliação do
desempenho de empresas terceirizadas com o uso da metodologia multicritério de apoio à decisão construtivista. Pesquisa Operacional, v. 30, p. 125-152, 2010.
FADUL, É. M. C. Redefinição de Espaços e Papéis na Gestão de Serviços Públicos: Fronteiras e
Funções da Regulação Social. Revista de Administração Contemporânea, v. 1, p. 55-70, 1997.
FREITAS, V. P.; CARDOSO, R. L.; AQUINO, A. C. B.; REIS JUNIOR, R. C. Mensuração de
desempenho em organizações públicas: O caso da secretaria da Fazenda do Rio Grande do Sul.
Revista do Serviço Público, v. 60, p. 277-290, 2009.
GAIO, J.; DUCLÓS, L. C. Diagnóstico e análise do mapa estratégico de uma corporação religiosa
com objetivos educacionais: estudo de caso. Gestão Universitária na América Latina, v. 4, p. 182204, 2011.
GIL, A. C. Métodos e técnicas de pesquisa social. 5. ed. São Paulo: Atlas, 1999.
GRIGOROUDIS, E.; ORFANOUDAKI, E.; ZOPOUNIDIS, C. Strategic performance measurement in
a healthcare organisation: A multiple criteria approach based on Balanced Scorecard. Omega, v. 40, n.
1, p. 104-119, 2011.
GRZEBIELUCKAS, C.; BUSON, M. A.; QUEIROZ, S. G.; ENSSLIN, L.; ENSSLIN, S. R.;
NICKEL, E.; BALBIM JUNIOR, A. Instrumento para identificação das necessidades do consumidor
15/17
ANAIS
no processo de desenvolvimento do design: um estudo ilustrado com o projeto de um automóvel.
Gestão & Produção, v. 18, p. 337-350, 2011.
GUIMARÃES, I. P.; PINHO, L. A.; LEAL, R. S. Profissionalização da gestão organizacional no
terceiro setor: um estudo de caso na Fundação Instituto Feminino da Bahia. Contabilidade, Gestão e
Governança, v. 13, p. 132-148, 2010.
IUDÍCIBUS, S. Teoria da Contabilidade. São Paulo: Atlas, 2004.
LACERDA, R. T. O.; ENSSLIN, L.; ENSSLIN, S. R. A performance measurement framework in
portfolio management: A constructivist case. Management Decision, v. 49, n. 4, p. 648-668, 2011a.
______. A performance measurement view of IT project management. International Journal of
Productivity and Performance Management, v. 60, n. 2, p. 132-151, 2011b.
LOPES, A. L. M.; LORENZETT, J. R.; PEREIRA, M. F. Data Envelopment Analysis (DEA) como
ferramenta para avaliação do desempenho da gestão estratégica. Universo Contábil, v. 7, p. 77-94,
2011.
LUBAMBO, C. W. Desempenho da Gestão Pública: que variáveis compõem a aprovação popular em
pequenos municípios? Sociologias, v. 8, p. 86-125, 2006.
MACEDO, M. A. S.; CAVALCANTE, G. T. Performance de agências bancárias : aplicando DEA a
múltiplas perspectivas do desempenho. Revista Contemporânea de Contabilidade, v. 1, p. 87-108,
2009.
MARRA, A. V.; MELO, M. C. O. L. A prática social de gerentes universitários em uma instituição
pública. Revista de Administração Contemporânea, v. 9, p. 9-31, 2005.
MONTIBELLER, G.; BELTON, V. Qualitative operators for reasoning maps: Evaluating multicriteria options with networks of reasons. European Journal of Operational Research, v. 195, n. 3,
p. 829-840, 2009.
MONTIBELLER, G.; SHAW, D.; WESTCOMBE, M. Using decision support systems to facilitate the
social process of knowledge management. Knowledge Management Research and Practice, v. 4, n.
2, p. 125-137, 2006.
NASCIMENTO, A. M.; REGINATO, L.; LERNER, D. F. Um estudo sobre o efeito da Avaliação de
Desempenho operacional e de gestores no resultado econômico da empresa. RIC Revista Informação
Contábil, v. 2, p. 19-42, 2008.
PEÑA, C. R. Um modelo de avaliação da eficiência da administração pública através do método
Análise Envoltória de Dados (DEA). Revista de Administração Contemporânea, v. 12, p. 83-106,
2008.
RIBEIRO FILHO, J. F. Tratamento Contábil para eficácia em entidades hospitalares da Administração
Pública: O caso de um hospital de ensino e assistência. Contabilidade, Gestão e Governança, v. 6, p.
53-71, 2003.
RICHARDSON, R. J. Pesquisa Social: métodos e técnicas. 3. ed. São Paulo: Atlas, 1999.
RODRIGUES, C. M. C. Aplicação do modelo de avaliação integrado ao planejamento anual na
Faculdade da Serra Gaúcha (FSG): um estudo de caso. Gestão Universitária na América Latina, v.
4, p. 29-52, 2006.
SANTOS, L. P. G. Uma Contribuição à Discussão sobre a Avaliação de Desempenho das Instituições
Federais de Ensino Superior - Uma Abordagem da Gestão Econômica. Revista Contabilidade &
Finanças, v. 28, p. 86-99, 2002.
SHEEHAN, N. T.; VAIDYANATHAN, G.; KALAGNANAM, S. A Balanced Scorecard for state U'S
facilities management division? Accounting Perspectives, v. 8, n. 1, p. 69-83, 2009.
SILVA, A. S.; LEAL, R. B.; FERREIRA, A. C. S. Avaliação de Desempenho sob as perspectivas
financeira e não financeira: a Gestão Estratégica de uma organização militar prestadora de serviços da
Marinha. Revista de Contabilidade e Controladoria, v. 3, p. 38-56, 2011.
16/17
ANAIS
SULLIVAN, K. T.; MCDONALD, D. K. Leadership principles and performance measurement in
facilities management: A case study. Leadership and Management in Engineering, v. 11, n. 4, p.
302-309, 2011.
TAGLIAPIETRA, O. M.; SCHMIDT, A. O.; BERTOLINI, G. F. Organizações do conhecimento:
Processo de geração de inovações para os serviços nas Instituições de Ensino Superior. Gestão
Universitária na América Latina, v. 3, 2010.
VIEIRA, V. A. As tipologias, variações e características da pesquisa de marketing. Revista FAE, v.5,
n.1, jan./abr., p. 61-70, Curitiba, 2002.
ZAMCOPÉ, F. C., ENSSLIN, L., ENSSLIN, S. R., DUTRA, A. Modelo para avaliar o desempenho de
operadores logísticos - Um estudo de caso na indústria têxtil. Gestão & Produção, v. 17, n. 4, p. 693705, 2010.
YIN, R. K. Estudo de caso: planejamento e métodos. 3.ed. Porto Alegre: Bookman, 2004.
17/17