XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. DECISÃO MULTICRITÉRIO POR CRITÉRIO ÚNICO DE SÍNTESE: APLICAÇÃO A UMA COMPRA DE TECNOLOGIA Viviane Alves Pereira dos Anjos Santos (UFPE) [email protected] Sinndy Dayana Rico Lugo (UFPE) [email protected] Adiel Teixeira de Almeida (UFPE) [email protected] O estudo se fundamenta num problema de decisão multicritério para compra de um celular, que é construído seguindo as etapas de Polmeron e Barba (2000): inteligência, desenho, escolha, revisão e implementação. Identificamse as características particulares do problema possibilitando encontrar o método de resolução mais adequado, que no caso é o modelo aditivo, o qual faz parte da família de métodos de critério único de síntese. Com o auxílio de um software web, os resultados são obtidos e é realizada a analise de sensibilidade para comprovar a robustez da solução ao problema. Palavras-chave: decisão multicritério, modelo aditivo, construção de problemas de decisão, seleção de tecnologia XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. 1. Introdução Neste artigo é estudado um problema de decisão multicritério para a compra de um aparelho celular, analisando as suas características. A construção do problema encontra-se baseada nos estágios propostos por Polmeron e Barba-Romero (2000), que acrescenta duas etapas, revisão e implementação, ao estudo de Simon (1960) que consiste em três etapas, inteligência, desenho e escolha. O estudo se inicia na etapa de inteligência organizando as informações obtidas e identificando o objetivo do problema, os critérios e as alternativas. Após isso, continua-se com a etapa de estruturação, determinando qual o tipo de método mais indicado para apoiar a tomada da decisão e assim solucionar o problema. No estágio de escolha, implementa-se o método para obter a sequência das alternativas, permitindo escolher a melhor delas, para depois analisar a robustez e partir para a implementação. Em relação à revisão de literatura, o problema de compra de tecnologia não é muito comum, encontra-se com mais frequência o problema de seleção de fornecedores, que trata da escolha de uma empresa entre várias outras para fornecer suprimentos (ALENCAR, 2007; ABATH, 2009; CHAI 2013; LIMA JUNIOR 2013; SOUZA, 2013; GUARNIERI, 2012; GUARNIERI, 2015). O enfoque deste trabalho é especificamente na compra da tecnologia, logo no usuário final, característica muito difícil de encontrar na literatura atual. Por esta razão, o problema empresarial foi observado com muita cautela para que possa haver um norteamento para a sua resolução. 2. Aplicação Numérica O estudo trata a compra de uma tecnologia com base na realidade, e aborda uma empresa que necessita adquirir um celular novo, que tenha um melhor desempenho e que seja mais rápido que o aparelho atual, para assim auxiliá-la adequadamente no trabalho. Para realizar a compra com sucesso e não ter problemas futuros, a compra do aparelho é tratada como um problema multicritério, tendo um analista como suporte para auxiliar o processo de formulação. 2 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Assim, são realizados todos os passos necessários para a construção do problema (Polmeron; Barba-Romero, 2000), solicitando, quando necessário, as informações de alternativas, o objetivo da decisão, as preferências entre consequências das alternativas, etc. 2.1. Critérios do problema Os critérios são os atributos que são levados em consideração na hora de efetuar uma ação, considerados relevantes os seguintes, especificando seu objetivo na direção de preferência: Duração da bateria em repouso: Maximizar Sistema Operacional: Maximizar Espessura: Minimizar Memória Interna: Maximizar Preço: Minimizar A faixa de valores que o critério possui pode se diferenciar por tipos de escala. Normalmente, os critérios têm escala numérica (ALMEIDA, 2013), aquela em que os valores são números, ou a escala verbal, aquela em que o usuário classifica as alternativas com conceitos como muito bom, bom, regular, ruim, péssimo. Esta ultima escala tem-se que converter em números para que possam realizar-se cálculos algébricos, geralmente utiliza-se a escala de Likert (1932) que consiste em cinco níveis, onde o muito bom equivale ao número 5. A preferência quanto ao sistema operacional tem escala verbal, os demais critérios têm escala numérica. Todos os dados utilizados são fornecidos pelos fabricantes do produto, desconsiderando a probabilidade de que haja alguma informação incorreta. 2.2. Espaço de ações O espaço de ações é finito e composto com os celulares que a empresa deseja e considera aceitáveis. Assim, temos um conjunto discreto com várias possibilidades de solução que gradualmente vai afunilando os métodos possíveis a serem utilizados. O conjunto de ações é estável e globalizado, considerando que o conjunto não se altere no decorrer do processo decisório e que a escolha de uma alternativa exclui diretamente as outras. A continuação encontram-se as alternativas de aparelho celular: 3 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Iphone 5S Samsung Galaxy S5 Iphone 6 plus Motorola Moto Maxx Iphone 6 Cada alternativa tem um desempenho para cada critério. Com os critérios estabelecidos e alternativas determinadas, é possível construir a matriz consequência. Esta matriz contem a relação de cada atributo e a performance que cada um possui nas alternativas (ALMEIDA, 2013). Tabela 1: Matriz consequência Fonte: www.apple.com / www.lojaoficialmotorola.com.br / www.tudocelular.com (17/03/2015) A problemática deste caso é de escolha, o que restringe a possibilidade de usar alguns métodos. 2.3. Escolha do método multicritério 2.3.1. Sistema de preferências O sistema de preferências indicado é a estrutura (P, I) – preferência e indiferença, dado que a empresa consegue comparar todos os critérios e já tem em mente a ordem de sua preferência, respeitando a propriedade da ordenabilidade. Considera-se que respeita a transitividade, pois há uma relação de preferência determinada, se A é preferível a B e B preferível a C, então A é preferível a C, propriedade característica deste tipo de estrutura. 4 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. 2.3.2. Tipo do problema: compensatório ou não compensatório O analista deve avaliar qual a racionalidade que mais se adéqua ao decisor (ALMEIDA et al, 2015; ALMEIDA, 2013), neste caso, a abordagem compensatória se encaixa mais com o problema. É importante para a empresa saber quão melhor a alternativa se sobrepõe a outra e não apenas saber quem é a melhor. Assim, apresenta-se a característica de ponderação dos critérios, ou seja, um desempenho ruim em um critério pode ser compensado com um ótimo desempenho em outro. O sistema operacional é o critério com maior importância para o decisor, porém observa-se que um mau desempenho nesse atributo não desqualifica a alternativa, contanto que ela apresente uma melhor performance em outros critérios, como duração da bateria e memória interna, que compense a perda na característica de operacionalidade do celular. Essa é uma etapa muito importante, devido a que o modelo mais adequado para as características do problema influencia no resultado. Como se trata de um problema compensatório, com problemática de escolha e estrutura de preferência (P, I), o leque de métodos que podem ser utilizados para auxiliar na decisão está mais afunilado, tendo os métodos de critério único de síntese como opção (ALMEIDA, 2013). Considerando a probabilidade de ocorrência das consequências igual 1 (um), o problema se sintetiza como um problema determinístico. Neste caso se faz possível utilizar métodos como o aditivo e o multiplicativo, porém o analista opta pelo modelo de agregação aditivo, mais utilizado. Dado o mencionado anteriormente e tratando-se de um problema determinístico, pode-se então obter a função valor dos critérios segundo a seguinte fórmula (ALMEIDA, 2013). Considerando a probabilidade de ocorrência das consequências igual 1 (um), o problema se sintetiza como um problema determinístico. Neste caso se faz possível utilizar métodos como o aditivo e o multiplicativo, porém o analista opta pelo modelo de agregação aditivo, mais utilizado. Dado o mencionado anteriormente e tratando de um problema determinístico, a tabela 2 apresenta a função valor dos critérios. Tabela 2: Equação da função valor 5 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Fonte: Almeida (2013) Para validar o uso do método escolhido, é necessário que se prove a independência preferencial entre os critérios, para assim evitar algumas formas de inconsistências (KEENEY; RAIFFA, 1976; ALMEIDA, 2013). Sabendo disto, o decisor é questionado para comprovar a independência, considerando assim que o problema se adapta ao modelo de agregação aditiva. 2.3.3. Método de agregação aditiva O modelo aditivo é realizado em duas etapas: a avaliação intracritério e a avaliação intercritério. 2.3.3.1. Avaliação intracritério Para a realização da avaliação intracritério, deve-se analisar cada critério e identificar qual tipo de função mais se adéqua ao comportamento do mesmo. Avalia-se cada alternativa i para cada critério j (ALMEIDA, 2013). A função pode ser linear ou não-linear (exponencial, Sshape, logarítmica). Para o critério Preço e Sistema Operacional observa-se um comportamento de S-shape, a importância pelo aumento muda ao longo do tempo, exemplo o aumento de 10 centavos para 50 centavos não sente-se uma grande mudança para as pessoas, já de 10 mil para 50 mil percebe-se uma grande mudança. Já o critério Memória interna tem um comportamento exponencial. Os demais critérios comportam-se linearmente, sendo assim necessário o uso dos procedimentos de normalização. Usualmente, costuma-se utilizar três tipos de procedimentos (KEENEY; RAIFFA, 1976; ALMEIDA, 2013). Da escolha do procedimento de normalização depende o processo de elicitação que será realizado para obter os valores das constantes de escala (ALMEIDA, 2013). Com tudo, o analista optou pelo procedimento de trade-off para obter os valores das constantes de escala, que é valido tanto para funções valor lineares como para não lineares e parte do principio que o pior valor de uma consequência terá valor igual a 0 e o melhor valor terá valor igual a 1. A tabela 3 apresenta a forma como as funções são representadas. 6 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Tabela 3 : Fórmulas da função valor Fonte: Almeida (2013) Para auxilio nessa avaliação foi criado um software web que realiza as operações necessárias de normalização, e calcula os valores marginais e globais das alternativas. Nas imagens 1 e 2 visualizam-se duas telas que ilustram a excecuçaõ da etapa intracritério no problema. Imagem 1 : Tela exemplar do software – Avaliação intracritério 7 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Fonte: Este estudo (2015) Imagem 2 : Tela exemplar do software – Escolha do comportamento da função valor 8 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Fonte: Este estudo (2015) Depois de completada essa etapa, com ajuda do software se obtém a função valor marginal de cada alternativa do problema. Ditos valores encontram-se resumidos na Tabela 4. Tabela 4: Função valor 9 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Fonte: Este estudo (2015) 2.3.3.2. Avaliação Intercritério Para a avaliação intercritério por trade-offs (KEENEY; RAIFFA, 1976), inicia-se com a ordenação dos critérios em relação às consequências, do melhor para o pior (Imagem 3). Imagem 3: Tela do software web – Informações sobre as preferências Fonte: Este estudo (2015) Com o auxilio do software, a ordem de preferência encontrada foi (Tabela5): Tabela 5: Ordem de preferência 10 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Fonte: Este estudo (2015) Após a ordenação, procura-se a relação entre as constantes de escala pela tabela 2 para cinco atributos (Tabela 6): Tabela 6: Função valor para cinco atributos Fonte: Este estudo (2015) Inicialmente, questiona-se o decisor em relação a suas preferências, apresentando-lhe combinações dos valores normalizados dos critérios, em busca do valor indiferente. Exemplo (p1, p2, p3, m4, p5) X (y2, p2, p3, p4, p5), onde m é o melhor valor e p o pior valor. Sabemos que x1 é preferível a x4, então se busca o valor em que decisor se torna indiferente entre o melhor de x4 e um valor esperado para x1(KEENEY; RAIFFA, 1976; ALMEIDA, 2013). Realizam-se comparações para obter relações que nos levam à obtenção das constantes de escala. É como se perguntasse ao decisor: “Para que valor de y2 há indiferença entre as duas consequências?” (KEENEY; RAIFFA, 1976; ALMEIDA, 2013). Para iniciar, o analista faz perguntas sobre as preferências da decisor de acordo com a relação inicial de preferência. Sempre com muita cautela, porque decidir o indiferente é muito complicado para o decisor, que muitas vezes se confunde e gera inconsistência. Para evitar isso, o analista acompanhou de perto o processo de elicitação das preferências e sempre confirmava se estava tudo prosseguindo de acordo com a ordem de preferência. Para concluir essa etapa, utilizou-se o software web que faz a elicitação dos trade offs de problemas multicritério. Nas imagens 4 e 5 encontram-se as etapas de avaliação intercritério, possibilitando o calculo das constantes de escala e do valor global das alternativas (Imagem 6). Imagem 4: Tela do software web – Informações sobre as preferências 11 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Fonte: Este estudo (2015) Imagem 5: Tela do software web – Obtenção das constantes de escala 12 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Fonte: Este estudo (2015) Imagem 6: Constantes de escala e valor global das alternativas 13 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Fonte: Este estudo (2015) Como pode ser observado na Imagem 6, o aparelho celular mais indicado para compra é o Iphone 6 plus, seguido pelo Iphone 6, Moto Maxx, Iphone 5s e Sansumg S5, nesta respectiva ordem. Tratando-se de um problema de escolha, a recomendação para a empresa é escolher o Iphone 6 plus. 2.3.4. Análise de sensibilidade Nesta etapa, recomenda-se analisar os dados fornecidos pelo programa e a modelagem dos parâmetros (ALMEIDA, 2013). Aproximações são necessárias no decorrer da formulação do problema, pelo que deve-se confirmar se o nível de erro existente é aceitável ou não. 14 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Essa avaliação pode ser realizada de dois modos (ALMEIDA, 2013), individual ou em conjunto, na qual recomenda-se variar todas as constantes de escala ou todas as variáveis de entrada em torno de 20%. Não há um número exato de repetições necessárias para serem realizadas (ALMEIDA, 2013), apenas trata-se de um número alto que dificilmente pode ser calculado manualmente, então se faz necessário a existência de um programa computacional para auxiliar nessa operação. Dado isso, foi desenvolvido um software web que realiza a simulação Monte Carlo para verificar a consistência dos dados a quantidade de vezes que o usuário achar necessário. A imagem 7 ilustra a etapa de análise de sensibilidade em conjunto com 100000(cem mil) iterações e todos os critérios variando em torno de 20% , como recomendado. Imagem 7: Tela do software web – Geração de dados aleatórios na faixa de 20% 15 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Fonte: Este estudo (2015) 3. Discussão de resultados Com o apoio do software web, foi possível analisar o problema afundo e assim avaliar quão robusta encontrava-se a solução obtida através do método selecionado. A imagem 8 apresenta o resultado decorrente das opções escolhidas na imagem 7. Imagem 8: Tela do software web – Resultado da análise de sensibilidade 1. 16 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Fonte: Este estudo (2015) Observa-se que uma analise de sensibilidade com variação dos critérios em torno de 20% resultou em 48% dos casos o Iphone 6 plus como a recomendação de escolha, enquanto o Iphone 6 aparece em segundo lugar com 40% dos casos, além da pequena participação de outras alternativas. Isso significa que a opção recomendada pelo analista não é robusta, apesar de a alternativa prevalecer nos resultados, obteve-se uma amostra significativa em que a opção Iphone 6 seria indicada. Nesses casos, é necessário investigar o que está provocando a alteração. Recomenda-se retornar ao primeiro estágio e analisar se há algum modelo ou método alternativo que seria mais adequado para solucionar o problema (ALMEIDA, 2013). 17 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Antes de retornar ao passo inicial do problema, analisa-se os parâmetros da analise realizada (imagem 7), para certifica-se que foi realizada da melhor forma. Quanto aos dados de entrada, os que se conhecem são os valores fornecidos pelo fabricante dos aparelhos celulares, considerando que sejam seguidas as normas de defesa para o consumidor. Para verificar se o erro vinculado a essas informações é discrepante, realizam-se simulações variando os dados em torno de uma porcentagem determinada, que irá variar para cada tipo de critério. Em relação ao atributo preço, por exemplo, os dados relacionados a ele dificilmente mudam em uma percentagem grande, a variação está mais vinculada a pequenos valores de 1% a 2%. Já o critério sistema operacional, pode mudar com maior possibilidade, devido às atualizações, então pode variar em torno de 7%. Assim, nota-se que o comportamento dos critérios diverge, portanto não devem ser tratados com variações iguais. A imagem 9 ilustra uma nova etapa de análise de sensibilidade em conjunto com 100000 (cem mil) iterações com os critérios variando em diferentes porcentagens. 18 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Imagem 9: Tela do software web – Geração de dados aleatórios com diferentes percentagens para cada critério Fonte: Este estudo (2015) Imagem 10: Tela do software web – Resultado da análise de sensibilidade 2 19 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Fonte: Este estudo (2015) Nessa segunda analise realizada, o Iphone 6 plus possuiu uma percentagem de 71,6, seguido de 27,96% para o Iphone 6 e mínima participação de outras alternativas. Neste caso, solução obtida pelo analista é robusta visto que domina maior parte dos resultados e prevalece. Assim, recomenda-se a compra do aparelho celular Iphone 6 plus. Finalmente, após todas as etapas concluídas, a empresa avalia a proposta realizada pelo analista, levando em conta todas as análises, e implementa a decisão, realizando a compra do aparelho Iphone 6 plus. 20 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Vale a pena mencionar que o software utilizado neste estudo, também tem a capacidade de calcular o coeficiente de Kendall, o tau (SIEGEL, 1977). Assim, para cada iteração é calculado um valor tau, que é armazenado com o intuito de, ao final da simulação de dados, realizar uma analise estatística (média, mediana, máximo, mínimo, desvio padrão e moda). Logo após realiza-se o teste de hipótese (SIEGEL, 1977) para certificar se os resultados são robustos, dado o alfa, maior porcentagem de erro considerada pelo decisor no problema, compara-se com a probabilidade de ocorrência do tau médio que irá depende do número de alternativas no problema (SIEGEL, 1977). Imagem 11: Tela do software web – Resultado da análise de sensibilidade Tau Fonte: Este estudo (2015) 21 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. Esse tipo de analise costuma-se utilizar para métodos com a problemática de ordenação, já que é avaliada a ordem das alternativas para obtenção do tau. Sendo assim, o software desenvolvido é capaz de auxiliar outros métodos na etapa de analise de sensibilidade. 4. Conclusão Em virtude dos fatos mencionados, um problema de decisão está presente no dia a dia da população e a decisão selecionada resulta em alguma consequência que pode ser beneficente ou não. No caso estudado, há uma decisão de compra de um aparelho celular que passa por todas as etapas de construção de um problema multicritério, identificando as suas características próprias como a estrutura de preferências, o tipo de problemática e o tipo de problema. Levando em consideração esses aspectos é que se faz possível determinar qual o método que mais se adequa para encontrar uma solução. Visto que o tipo de modelo influencia no resultado, deve-se tomar muito cuidado nessa etapa. Nesse estudo, conclui-se que a família de métodos que se adequa à compra de celular foi a de critério único de síntese, que inclui o modelo aditivo e o multiplicativo, por apresentar um tipo de problema compensatório, numa problemática de escolha e com estrutura de preferência (P, I). O analista optou pelo modelo aditivo validando seu uso através da verificação da independência em preferência, além de outras propriedades, especialmente a questão de adequação de uma racionalidade compensatória para este problema específico (ALMEIDA et al, 2015; ALMEIDA, 2013), o que pode ser válido apenas para o caso do decisor em consideração. Após a validação, seguiram as etapas do modelo: avaliação intracritério com a normalização da matriz consequência, e avaliação intercritério com a obtenção das constantes de escala. Para finalizar e certificar que a escolha do modelo foi robusta, foi realizada a analise de sensibilidade, que simula dados aleatórios numa distribuição uniforme ou triangular. Apesar do resultado não ter sido o esperado na primeira análise, foi possível ir mais afundo no assunto e aplicar uma nova analise com parâmetros mais adequados as características do 22 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. problema de decisão, que garantiu que a alternativa recomendada estava adequada e viável para aplicação. Em vista dos argumentos apresentados, a montagem de um problema multicritério é composta por vários estágios, todos acrescentando características determinantes para a obtenção do resultado. Visando garantir uma maior precisão, foi utilizado um software web para auxiliar em algumas etapas do problema, com artifícios como imagens e gráficos que facilitam a visão do decisor; além de realizar operações que seriam inviáveis de realizar manualmente, como a simulação Monte Carlo. Este software está disponível para uso por qualquer interessado, por meio de solicitação direta ao CDSID – Centro de Desenvolvimento em Sistemas De Informação e Decisão – (www.cdsid.org.br). 5. Referências ABATH, J R; SALVIANO, T S C; ALMEIDA, A T. Sistema de Apoio a Decisão para a Seleção de Fornecedor com Avaliação Multicritério. In: ENEGEP 2009, 2009, Salvador. Anais do ENEGEP 2009. ALENCAR, Luciana Hazin ; ALMEIDA, A T ; MIRANDA, Caroline Maria Guerra de . Sistemática proposta para seleção de fornecedores em gestão de projetos. Gestão e Produção v. 14, p. 477-487, 2007. ALMEIDA, Adiel Teixeira de; Processo de Decisão nas Organizações: Construindo Modelos de Decisão Multicritério, 1a Edição. São Paulo: Editora Atlas, 2013. ALMEIDA, Adiel Teixeira de; CAVALCANTE, C.A.V., ALENCAR, M.H., FERREIRA, R.J.P., de ALMEIDA- FILHO, A.T., GARCEZ T. V. Multicriteria and Multiobjective Models for Risk, Reliability and Maintenance Decision Analysis. International Series in Operations Research & Management Science. Vol 231. New York: Springer, 2015. 416p. CHAI, Junyi, LIU, James N.K., NGAI, Eric W.T., Application of decision-making techniques in supplier selection: A systematic review of literature, Expert Systems with Applications, Volume 40, Issue 10, August 2013, Pages 3872-3885, ISSN 0957-4174. GUARNIERI, Patricia. Modelo de apoio à decisão multicritério para classificação de fornecedores em níveis de colaboração no gerenciamento da cadeia de suprimentos utilizando o método ELECTRE TRI. 2012. Tese (Doutorado em Engenharia de Produção) – Universidade Federal de Pernambuco. GUARNIERI, Patricia. Síntese dos Principais Critérios, Métodos e Subproblemas da Seleção de Fornecedores Multicritério. Rev. adm. contemp. [online]. 2015, vol.19, n.1, pp. 1-25. ISSN 1982-7849. KENNEY, R., RAIFFA, H., “Decisions with multiple objec-tives: Preferences and value trade-offs” J. Wiley, New York, 1976. LIKERT, Rensis. A technique for the measurement of attitudes. Arquives of Psychology, v.140, p.1-55,1932. LIMA JUNIOR, Francisco Rodrigues, OSIRO, Lauro , CARPINETTI, Luiz Cesar Ribeiro. Métodos de decisão multicritério para seleção de fornecedores: um panorama do estado da arte. Gest. Prod. [online]. 2013, vol.20, n.4, pp. 781-801. Epub Nov 05, 2013. ISSN 0104-530X. POLMEROL, Jean- Charles; BARBA-ROMERO, Sergio. Multicriterion decision in management : principles and practice. Kluwer, 2000. 23 XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015. SIEGEL, S. Estatística não paramétrica - para ciências do comportamento. Ed. McGraw Hill do Brasil, São Paulo, 1977. SIMON, H. A., The new science of management decision. New York: Harper & Row Publishers, 1960. SOUSA, MA; DOWSLEY, B. S.; ALMEIDA, A T . Um problema multicritério de seleção de fornecedores com modelo de agregação aditivo. In: ENEGEP 2013, 2013, Salvador. Anais do ENEGEP 2013. 24