Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável FAPESP _ 03/06441-7 Planejamento Integrado de Recursos Energéticos no Oeste do Estado de São Paulo Dimensão Política Treinamento/Oficina de PIR – Agosto de 2007 Módulo 6 - Tomada de Decisão no Escopo do PIR Decio Cicone Junior Alexandre Orrico Reinig Miguel Edgar Morales Udaeta Araçatuba – SP [email protected] [email protected] [email protected] Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Agenda 1. 2. 3. 4. Reflexão inicial e Agenda (5 min) Tomada de Decisão (10 min) Armadilhas da Decisão (15 min) Árvores de Decisão e Ponderação de Critérios (10min) 5. Método de Análise Hierárquica (10 min) 6. Avaliação de Custos Completos – ACC (5 min) 7. ACC no PIR Araçatuba (5 min) 1. Vetor Ambiental (5 min) 2. Vetor Social (5 min) 3. Vetor Político (30 min) 2 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Reflexão inicial – Planejamento Energético • Caso você fosse o responsável por isso, o que levaria em consideração para fazer o planejamento energético de uma região? Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Desafio do menor custo (Adaptado de Winklegren, 1974). Você recebeu quatro pedaços separados de corrente, cada um com três elos de comprimento. Abrir um elo custa R$ 100 e fechar um elo custa R$ 150. Todos os elos estão fechados no início do problema. Sua meta é ligar todos os 12 elos da corrente formando um círculo, ao menor custo possível. 4 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável CRENÇAS DA TOMADA DE DECISÃO • É muito importante • Muitos acham não necessitar abordagem lógica • É suficiente coletar PENSAR SÉRIO dados, analisar e 5 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável INTUIÇÃO PODE GERAR ERROS? 6 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Racionalidade e intuição • A diferença entre racionalidade e intuição está na proporção de informação, de um lado, e opinião e sentimentos, de outro. Decisão racional baseia-se em informações e pressupõe uma ordem lógica. A racionalidade entretanto é limitada pois busca simplificar situações complexas, lidar com as restrições de tempo e outros recursos, procurando equilibrar vantagens e desvantagens da melhor forma possível 7 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Racionalidade e intuição INTUIÇÃO – quando a informação é insuficiente. Usa-se então a percepção e aprendizagem. Nasce da experiência e de sentimento a respeito dos estímulos. Estas decisões não são feitas de modo totalmente consciente e lógico. A utilidade da intuição é limitada e oferece muitos riscos. Em certos casos, a intuição recomenda tomar qualquer decisão – é melhor que não decidir 8 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável EXERCÍCIO Valores Iguais Café Leite 1) Pegar uma colher do leite e levar à xícara de café 2) Mistura o leite no café 3) Uma colher de café com leite e coloca na xícara com leite e misture. 4) No final as duas continuam com o mesmo volume. TEM PROPORCIONALMENTE: * MAIS LEITE NO CAFÉ OU MAIS CAFÉ NO LEITE ? 9 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável RESPOSTA Valores Iguais Café 1) Havia 150 ml de café 2) Adicionou 30 ml de leite 3) Ficando 180 ml total na xícara de café com leite sendo 1/6 de leite(30ml) e 5/6 de café (150ml) 4) Tira-se uma colher de café com leite misturado, nesta colher haverá 30ml sendo 5ml de leite e 25ml de café e leve-a ao leite. 5) Ficando assim 125ml (5/6) de café e 25 ml (1/6) de leite Leite 1) Havia 120 ml de leite 2) Adicionou a colher com a mistura de café com leite contendo 5 ml de leite e 25ml de café. 3) Ficando assim 125 ml de leite e 25ml de café. 10 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Tomada de Decisão • Pode ser definido como sendo a escolha entre duas ou mais alternativas de ação que possibilite o resultado esperado. • Pode ser entendido como um sinônimo para administrar. 11 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Processo de Resolução de Problemas ESCOLHA: Julgamento e avaliação de alternativas DECISÕES ALTERNATIVAS AVALIAÇÕES Concepção de Alternativas: PROCESSO CRIATIVO DIAGNÓSTICO Diagnóstico: busca de entendimento PROBLEMA FRUSTRAÇÃO, ANSIEDADE, DÚVIDA, CURIOSIDADE 12 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável O que é um problema? • • PROBLEMA: SITUAÇÃO QUE OCORRE QUANDO O ESTADO ATUAL DAS COISAS É DIFERENTE DO ESTADO DESEJADO. Elementos de um problema são: a. b. c. d. e. f. O objetivo a ser alcançado (situação desejada); A situação atual onde estamos; O desvio entre a situação atual e a desejada A (s) causa(s) do desvio A ação para eliminar a causa Um programa de implantação de soluções 13 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Avaliação da situação-problema • Os elementos de um problema raramente surgem de forma clara e distinta. • Temos normalmente uma situação inicial de desconforto, de ansiedade por “algo errado”, de angústia e mesmo de frustração quando percebemos uma situação-problema. 14 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Processo Decisório LIMITAÇÕES COGNITIVAS • A Memória de curto prazo discrimina (sete mais duas / sete menos duas) atividades ao mesmo tempo. • Ex:número de telefones, • RG • Só 11% da população consegue discriminar 9 atividades ao mesmo tempo. 15 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Quem deve tomar decisões? • A responsabilidade primária é de pessoas que ocupam cargos de administradores e gerentes. Não significa que devam tomar decisões sozinhos. • Uma das principais decisões do gerente é decidir quem toma decisão e o Grau de participação da Equipe 16 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Armadilhas de Decisão: (J. Edward Russo e Paul J.H. Schoemaker) 1. Precipitar-se 2. Cegueira Estrutural 3. Falta de Controle Estrutural 4. Excesso de Confiança 5. Atalhos Míopes 6. Atirar da Linha da Cintura 7. Fracasso em Grupo 8. Enganar a Si Mesmo 9. Falta de Acompanhamento 10.Deixar de “Refletir Sobre” 17 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável ARMADILHA NÚMERO 1 Precipitar-se: pesquisar e chegar a conclusões sem antes dispensar alguns minutos para abordar os aspectos mais importantes da questão ou para tentar compreender como essas decisões devem ser tomadas 18 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável ARMADILHA NÚMERO 2 Cegueira Estrutural: Chamamos as estruturas mentais, as quais as pessoas criam para simplificar e organizar o mundo de “estruturas” de decisão Partir para resolver o problema errado, pois você criou uma estrutura mental de decisão sem refletir muito, o que faz com que você passe por cima das melhores opções ou perca de vista objetivos importantes 19 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Situação A Você decidiu ver uma peça de teatro e comprou um ingresso por R$ 30,00. Ao chegar ao teatro, você constata que perdeu o ingresso. O lugar não era marcado e o ingresso não pode ser recuperado. Adaptado por Richard Thaler, da Cornell University: 20 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Situação A Você pagaria R$30,00 por outro ingresso para ver a peça (supondo que ainda tenha dinheiro suficiente)? 1.Sim 2.Não Adaptado por Richard Thaler, da Cornell University: 21 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Situação B Você decidiu ver uma peça cujos ingressos custam R$ 30,00, mas ainda não comprou o seu. Ao entrar no teatro, você descobre que perdeu R$ 30,00 de sua carteira. Adaptado por Richard Thaler, da Cornell University: 22 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Situação B Você ainda pagaria R$30,00 por um ingresso para ver a peça (supondo que tenha sobrado dinheiro suficiente)? 1.Sim 2.Não Adaptado por Richard Thaler, da Cornell University: 23 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Exercício sobre Limites Muitas pessoas, às quais é contado que o ingresso foi perdido, sentem que comprar outro equivaleria a gastar R$ 60,00 para ver a peça. Adaptado por Richard Thaler, da Cornell University: 24 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Respostas • Suas respostas foram diferentes para cada uma das situações apresentadas? • Por que não estaria igualmente disposto — ou não — a comprar outro ingresso? • Afinal, em ambos os casos, você sofreu uma perda igual. Adaptado por Richard Thaler, da Cornell University: 25 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável ARMADILHA NÚMERO 3 Falta de controle estrutural • Uma mudança de ponto de referência pode revigorar uma empresa. • Como constataram os fabricantes norteamericanos de carros, quando deixaram de comparar a qualidade de seus produtos entre si para equiparar seu desempenho com o dos melhores concorrentes globais. 26 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável ARMADILHA NÚMERO 3 Falta de controle estrutural • A maioria das pessoas não escolhe estruturas; tropeça nelas. • Elas podem até perceber que deveriam definir e estruturar com cuidado seus problemas. • Deixar de definir de maneira consciente o problema de mais de uma forma, ou ser influenciado pelas estruturas dos outros. 27 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável ARMADILHA NÚMERO 4 Excesso de confiança em seu julgamento • Deixar de colher informações factuais importantes por estar demasiado seguro de suas hipóteses e opiniões. “Máquinas voadoras mais pesadas que o ar são impossíveis.” Declaração feita em 1895 por Lord Kelvin Presidente da British Royal Society 28 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Teste de confiança em seu julgamento • Para cada um dos dez itens abaixo, forneça uma estimativa alta e uma baixa, de forma que você esteja 90% seguro de que a resposta correta se encontre entre as duas. • Seu desafio é não ser demasiado estrito (isto é, excessivamente confiante), nem demasiado tolerante (pouco confiante). • Para ter sucesso neste desafio, você deverá errar no máximo 10%, isto é, obter apenas um erro. 29 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Teste de confiança em seu julgamento Baixa Alta A idade de Martin Luther King quando morreu Comprimento do Rio Nilo Números de países no continente africano Número de livros no Antigo Testamento. Diâmetro da Lua em Km Peso de um Boeing 747 vazio (Kg) Ano de nascimento de Wolfgang Amadeus. Período de gestação (em dias) de um elefante. Distância Londres-Tóquio pelo ar Maior profundidade nos oceanos conhecida (m) 30 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Teste de confiança em seu julgamento Respostas: 1. 3. 5. 7. 9. 39 anos; 49 paises; 3.475 km; 1756; 9.588 km; 2. 6.737 km; 4. 39 livros; 6. 176.900 kg; 8. 645 dias; 10. 11.033 m. 31 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável ARMADILHA NÚMERO 5 Atalhos míopes • Basear-se de modo indevido em “regras práticas”, tais como confiar de maneira implícita nas informações mais prontamente disponíveis ou basear - se em demasia em fatos que lhe convêm. • Qual esporte mata mais? • Ciclismo • Motociclismo População Indígena aumenta ou diminuí? 32 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Atalhos míopes • Quando o que é mais fácil de se lembrar não está associado com o mais provável • Quando o mais fácil de imaginar não está associado com o mais provável 33 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Atalhos míopes • Decisores melhoram suas estimativas de probabilidades: • Através da experiência • Quando têm conhecimento profundo do problema • Coletando informações contextuais relevantes • O julgamento humano tem valor relevante em muitas situações de tomada de decisão, sendo que seu desempenho pode superar os métodos estatísticos 34 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável ARMADILHA NÚMERO 6 Atirar da Linha da Cintura: • Muitas empresas utilizam regras práticas na determinação de preços. • Os restaurantes, por exemplo, com freqüência apreçam os pratos tomando o custo da matéria prima e multiplicando-o por três. • Idealmente, os preços deveriam ser fixados para maximizar os lucros a longo prazo. 35 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Atirar da linha da cintura Um banco pode estipular que um empréstimo será concedido se o candidato: Não tiver deixado de quitar pagamentos anteriores; Tiver pelo menos de 25% de sua renda não comprometidos; Morar há pelo menos um ano no atual endereço; Estiver há pelo menos um ano em seu atual emprego;e For um operário qualificado. 36 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Atirar da linha da cintura Baseando-se nas regras avalie os dois pedidos de empréstimos; Sr. Bueno Sr. Jonas Nenhuma falta de pagamento; Nenhuma falta de pagamento; Vários Nenhum avisos de atraso de pagamento; 25% da renda descomprometida; Um ano no atual endereço; Um ano no atual emprego; Trabalhador qualificado aviso de atraso de pagamento; 70% da renda descomprometida; 20 anos no atual endereço; 15 anos no atual emprego; Trabalhador não qualificado 37 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Atirar da linha da cintura O Sr. Bueno atende a todos os requisitos, mas por pouco. O Sr. Jonas excede em vários quesitos mas não é qualificado, portanto terá seu pedido de empréstimo negado. Sr. Bueno Sr. Jonas Nenhuma falta de pagamento; Nenhuma falta de pagamento; Vários Nenhum avisos de atraso de pagamento; 25% da renda descomprometida; Um ano no atual endereço; Um ano no atual emprego; Trabalhador qualificado aviso de atraso de pagamento; 70% da renda descomprometida; 20 anos no atual endereço; 15 anos no atual emprego; Trabalhador não qualificado 38 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável ARMADILHA NÚMERO 7 Fracasso em Grupo: assumir que, com tantas pessoas inteligentes envolvidas, as boas decisões se seguirão automaticamente, deixando assim de gerenciar o processo de tomada de decisões em grupo. 39 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Fracasso em grupo • O sucesso, na deliberação em grupo, depende da administração hábil de conflitos até se atingir o consenso. • Conflito e respeito são elementos importantes para boa qualidade da decisão em grupo. 40 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável ARMADILHA NÚMERO 8 Enganar-se a Si Mesmo a Respeito do Feedback: distorcer a evidência dos fatos passados para proteger seu ego ou porque a compreensão tardia do que deveria ter sido feito o está atrapalhando. 41 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Enganar a si mesmo a respeito do feedback Mas se o resultado for negativo criam uma explicação que preserve sua imagem positiva. “O sucesso sempre tem paternidade e o insucesso quase sempre é orfão.” 42 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável ARMADILHA NÚMERO 9 Falta de Acompanhamento: assumir que a experiência irá expor automaticamente suas lições, deixando assim de manter registros sistemáticos para acompanhar os resultados de maneira a revelar suas mais importantes lições. 43 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Falta de acompanhamento Aprender com a experiência é difícil quando não se tem um procedimento estruturado de feedback, para a análise dos resultados das decisões passadas e estudo dos processos decisórios que as produziram. 44 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável ARMADILHA NÚMERO 10 Deixar de Auditar Seu Processo de Decisão: não elaborar uma abordagem organizada para compreender suas próprias tomadas de decisões, ficando assim constantemente exposto a todas as outras nove armadilhas. 45 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável ARMADILHA NÚMERO 10 Deixar de Auditar Seu Processo de Decisão QUE PARCELA DE TEMPO VOCÊ DEDICA EM CADA FASE? 1. ESTRUTURAÇÃO 2. PESQUISA 3.CHEGADA A CONCLUSÃO 4. APRENDIZADO COM A EXPERIÊNCIA TOTAL 100 QUE PARCELA DE TEMPO VOCÊ PRETENDE DEDICAR EM CADA FASE? 100 46 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável PORQUE USAR METODOLOGIA PARA TOMAR DECISÕES? • Para solucionar problemas complexos não precisamos de uma forma mais complicada de pensar. • Nós precisamos de uma metodologia que utilize ao máximo os conhecimentos pessoais dos decisores, elaborando e organizando os problemas. 47 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Árvore de decisões • É UMA TÉCNICA QUE AJUDA A ORGANIZAR O RACIOCÍNIO, registrar as alternativas e mostrar vantagens e desvantagens, ATRAVÉS DE UMA REPRESENTAÇÃO GRÁFICA DE ALTERNATIVAS. • A medida que as alternativas são identificadas, são desenhadas como ramos de uma árvore. • A técnica é útil como auxílio para a visualização das possibilidades que o tomador de decisões deve considerar. 48 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Ponderação de critérios • Objetivo – Proporcionar uma marcha de análise e avaliação que facilite a escolha por meio de critérios, implícitos e explícitos. • Propriedades, condições ou atributos, qualidade • Processo A.Tomar decisão é escolher alternativa de linha de ação mais recomendada para atingir aos objetivos, com menor risco. B.Neste algoritmo primeiro identificamos objetivos e critérios, antes de listar alternativas, depois da especificação, avaliamos os riscos envolvidos em cada alternativa: 1.Determine o propósito geral da decisão; 2.Estabeleça objetivos e critérios escolhidos, especificando e qualificando para facilitar o entendimento e facilitando avaliação; 3.Classifique os objetivos e/ou critérios – maior e menor importância – EM OBJETIVOS NECESSÁRIOS E OBJETIVOS SIMPLESMENTE DESEJÁVEIS, AVALIANDO 49 SUA IMPORTANCIA RELATIVA Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Ponderação de Critérios Processo Item b 4. Dê peso – hierarquize – os objetivos Simplesmente desejáveis, avaliando importância relativa; 5. Crie e liste as alternativas; 6. Compare as alternativas, verificando em que medida atendem aos objetivos; 7. Avalie os riscos – o que pode dar errado. 8. Escolha a melhor alternativa – DECIDA! 50 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Processo de Análise Hierárquica (AHP) • O AHP foi proposto por Saaty (1977) como uma metodologia de comparação de critérios e alternativas, baseado na árvore de decisão visando auxiliar o decisor. • Portanto para que se possa aplicar AHP no processo decisório é necessário inicialmente estruturar-se o problema em uma árvore de decisão. 51 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável ESTRUTURA DO AHP META OBJ SUB OBJ OBJ SUB OBJ SUB OBJ OBJ SUB OBJ SUB OBJ SUB OBJ Alternativas 52 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Aplicando AHP • Após estruturar-se o problema, conforme mostrado anteriormente, passa-se a comparar e valorizar as diferentes opções em cada nível. • Esta valorização é realizada através da comparação par a par, na qual cada opção é comparada, individualmente com as outras opções no mesmo nível, utilizando a escala proposta por Saaty. 53 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável ESCALA VERBAL VALOR NUMÉRICO 1 3 5 7 9 2;4;6;8 ESCALA VERBAL Igual importância Moderada importância Forte importância Muito forte Extremamente forte Valores intermediários 54 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável COMPARAÇÃO AOS PARES A B C D E A A/A A/B A/C A/D A/E B B/A B/B B/C B/D B/E C C/A C/B C/C C/D C/E D D/A D/B D/C D/D D/E E E/A E/B E/C E/D E/E 55 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável ENTENDENDO A COMPARAÇÃO DOIS A DOIS SITUAÇÃO 1 C SITUAÇÃO 2 C B B A A 56 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Obtenção das Prioridades Após completada a matriz de comparação par a par, obtêm-se, através de métodos matemáticos o vetor de prioridades dos critérios, de seus subcritérios e das alternativas em cada critério e/ou subcritério. 57 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável INCONSISTÊNCIA Uma das etapas mais importantes do AHP é a análise de inconsistência, que irá nos mostrar o quão confiável é o resultado. A análise de inconsistência é feita a partir da Razão de Inconsistência (RC), encontrada a partir de métodos matémáticos 58 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável EXEMPLO: Peso de 3 pessoas SITUAÇÃO CONSISTENTE Extremamente 59 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável EXEMPLO: Peso de 3 pessoas SITUAÇÃO INCONSISTENTE Muito Forte 60 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável INCONSISTÊNCIA Todos queremos ser consistentes, mas o mundo não o é. Alguma inconsistência pode ser admitida. (10% aceitável) • • • • • Erro de apontamento Falta de informação Falta de concentração Falta de consistência no que estamos julgando Modelo de estrutura de decisão inadequado 61 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável NECESSÁRIO MAS NÃO SUFICIENTE Consistência é importante mas não é suficiente. Você pode ser consistentemente errado. É mais importante ser cuidadoso do que consistente. 62 Novos Instrumentos de Planejamento Energético Regional visando o Desenvolvimento Sustentável Referências • Apostila de Roberto Camanho – www.tipec.com.br • Apostila de Rubens Mandetta • Outras fontes: ver www.seeds.usp.br – download • Armadilhas da decisão: J. Edward Russo e Paul J.H. Schoemaker • Método de Análise Hierárquica: Thomas L. Saaty 63