XXX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇÃO Maturidade e desafios da Engenharia de Produção: competitividade das empresas, condições de trabalho, meio ambiente. São Carlos, SP, Brasil, 12 a15 de outubro de 2010. FERRAMENTAS DE SELEÇÃO DE PROJETOS DE P&D NO SETOR ELÉTRICO BRASILEIRO COM BASE EM MODELOS DE DECISÃO MULTICRITÉRIOS MONALIZA DE OLIVEIRA FERREIRA (UFPE) [email protected]il.com Cinthya Melo do Carmo (UFPE) [email protected] LUCIANA ELIZABETH DA MOTA TÁVORA (FUNDAJ) [email protected] Francisco de Sousa Ramos (UFPE) [email protected] ADRIANA KARLA BRASILEIRO DE CARVALHO (CELPE) [email protected] Nos últimos anos têm crescido expressivamente os gastos de P&D do setor elétrico em função do novo ambiente institucional gerado pela reforma do setor. Alguns aspectos que não estão explícitos em valores financeiros no balanço das empresas vêm sendo valorizados não só por empresários, mas por pesquisadores e pela sociedade como um todo. Neste sentido, o presente trabalho objetivou realizar uma pesquisa exploratória sobre as melhores práticas para seleção de projetos de P&D no setor elétrico brasileiro, baseada em critérios objetivos e subjetivos alinhados ao planejamento estratégico da empresa. Para tanto, foi realizada uma pesquisa bibliográfica para a fundamentação teórica e foram levantadas as informações necessárias para realizar algumas simulações com dados de uma Empresa do Setor Elétrico Brasileiro. O Método Non-Traditional Capital Investment Criteria (NCIC) permite que se avalie não só os critérios econômico-financeiros, mas que se agregue a análise elementos de caráter social, ambiental, de regulação do setor elétrico ou quaisquer outros. Os resultados demonstram que, dos cinco projetos considerados, a melhor alternativa de investimento é o Projeto 1, mesmo sendo o Projeto 5 o de maior investimento. Palavras-chaves: seleção de projetos, p&d, setor elétrico 1. Introdução Nos últimos anos têm crescido expressivamente os gastos de P&D do setor elétrico em função do novo ambiente institucional gerado pela reforma do setor. Os projetos de P&D da ANEEL estão relacionados a um conjunto heterogêneo de atividades, uma carteira de projetos em diversas temáticas selecionadas pelas empresas. Dado o volume de capital investido e a importância do P&D para o desenvolvimento do setor elétrico, esse conjunto precisa ser analisado constantemente para que se possa gerar uma medida mais precisa dos resultados dos empreendimentos tecnológicos nacionais. Além disso, a crescente competitividade entre as empresas aliada às demandas mais restritivas e exigentes em termos de prazo, custo e qualidade levam-nas a uma maior necessidade de gerar novas práticas, técnicas, processos e metodologias associadas ao gerenciamento de projetos. Alguns aspectos que não estão explícitos em valores financeiros no balanço das empresas vêm sendo valorizados não só por empresários, mas por pesquisadores e pela sociedade como um todo. Nesse sentido, a preocupação com a responsabilidade social e ambiental pode fazer a diferença na tomada de decisão de um investidor. Dessa forma, esses ativos “intangíveis” são cada vez mais importantes dentro das organizações, públicas e privadas. Mas como mensurar um projeto social e avaliá-lo economicamente se todo projeto envolve custos financeiros? Veja-se o caso de uma campanha de vacinação. Certamente, haverá custos com a vacina, as seringas, o pessoal, o transporte, a divulgação etc. O benefício adquirido pode ser medido economicamente? Ademais, quais fatores determinam se esse projeto é de P&D ou não? (CHAMOVITZ, 2007). Segundo Niven (2005), na atual era da informação ou conhecimento, o valor é criado a partir de bens intangíveis (know-how, relacionamentos, culturas organizacionais). Assim sendo, a medição do desempenho das empresas precisa de algo além das medidas financeiras tradicionais (Valor Presente Líquido (VPL), Taxa Interna de Retorno (TIR) etc.). Esses métodos, embora possuam seus méritos, vêm recebendo críticas por não serem adequados à realidade atual dos negócios, onde as atividades geradoras de valor muitas vezes não são captadas através de ativos fixos e tangíveis. A seleção e priorização de projetos de P&D normalmente envolvem elevados orçamentos e tecnologias complexas. A seleção de um projeto ao invés de outros é uma tarefa bastante complicada, visto que a cada projeto está associado um custo, um benefício e um risco que dificilmente podem ser previstos dado o ambiente de incerteza que permeia o dia a dia das empresas e que afetam diretamente cada investimento. Dessa forma, para facilitar o processo decisório, os projetos devem estar completamente alinhados com a estratégia da empresa, a fim de evidenciarem os aspectos vitais para o sucesso na execução desses investimentos. Nesse sentido, a qualidade e quantidade das informações disponíveis para o tomador de decisão darão uma boa medida do grau de dificuldade do trabalho necessário. No caso de projetos P&D os dados nem sempre são confiáveis ou são insuficientes. Além disso, esses projetos envolvem, 2 muitas vezes, alto comprometimento de recursos materiais humanos em longos períodos de tempo (MORAES FILHO; WEINBERG, 2002). Ademais, a incerteza é um elemento inerente à avaliação de qualquer projeto, principalmente se envolverem inovação. Isso ocorre, principalmente, em razão das dificuldades de se estimar com precisão os possíveis resultados para as diversas alternativas dos projetos. Nessa perspectiva, cada vez vem mais se tornam necessários procedimentos e estratégias eficazes que auxiliem na tarefa de identificar, eliminar, reduzir, avaliar e controlar as eventuais fontes de risco (SOUZA; LIGO; MOYA, 1997). As organizações deparam-se constantemente com situações em que precisam decidir qual o melhor investimento, de forma que maximize valor. Contudo, as técnicas usualmente utilizadas de otimização não consideram variações nos resultados, desconsiderando, assim, os riscos envolvidos nas projeções (ROGERS, ROGERS, e RIBEIRO, 2006). Neste sentido, o presente trabalho objetivou realizar uma pesquisa exploratória sobre as melhores práticas para seleção de projetos de P&D no setor elétrico brasileiro, baseada em critérios objetivos e subjetivos alinhados ao planejamento estratégico da empresa e de fácil implementação, bem como a aplicação de um método de análise multicritério - Non-Traditional Capital Investment Criteria – NCIC. Sendo assim, foi realizada uma pesquisa bibliográfica para a fundamentação teórica e foram levantadas as informações necessárias para realizar algumas simulações, de uma Empresa do Setor Elétrico Brasileiro. Além disso, foram estudados os critérios utilizados pela ANEEL na avaliação de projetos de P&D, segundo o Manual do Programa de Pesquisa e Desenvolvimento Tecnológico do Setor de Energia Elétrica da ANEEL de maio de 2008 e foi utilizado um Método de Análise Multicritério. Para atender ao objetivo da melhor seleção de projetos, um instrumento que se apresenta para planejamento e gestão de empresas que aponte para as tendências do desenvolvimento, além do resultado financeiro, englobando uma amplitude de parâmetros que possa caracterizar o desempenho das organizações, tornando-as mais competitivas é o BSC – Balanced Scorecard, originalmente desenvolvido por Robert Kaplan e David Norton a partir de 1990 que, com pequenas adaptações, pode ser utilizado para representar e avaliar as necessidades do departamento de P&D das empresas do setor de energia. Outra metodologia que também vem ganhando destaque na seleção de projetos de P&D é o DEA (Data Envelopment Analysis), que apresenta vantagens para a tomada de decisão entre alternativas e que permite utilizar inputs e outputs com alto grau de heterogeneidade. A análise de risco, apesar de importante diante de um cenário incerto, também envolve alguma dose de intuição. Costumeiramente dá-se um caráter determinístico às projeções, quando, na verdade, têm caráter probabilístico. Nesse sentido, as previsões realizadas podem não se efetivarem em razão de possíveis erros, que podem ser amenizados através da taxa de desconto ajustada, análise de sensibilidade e simulação. Esta é uma tentativa de replicação de um sistema real, através da construção de um modelo matemático tão parecido quanto possível da realidade. Dessa forma, obtém-se como resultado não um índice, mas uma distribuição de frequências do 3 mesmo, sendo traduzidos em números o aspecto risco, pela variância e suas relações, dentro de um intervalo de confiança (ROGERS, ROGERS e RIBEIRO, 2006). Entretanto, além desses, um dos métodos mais atuais que vem sendo utilizado para o auxilio na tomada de decisão sobre investimentos incorpora o uso dos métodos multicritérios. Trata-se do Non-Traditional Capital Investment Criteria – NCIC-, concebido por Boucher e MacStravic em um artigo publicado em 1991 no periódico Engineering Economist. No Brasil, Kimura e Suen (2003) vêm difundindo o método com várias aplicações em análises de projetos. Convém salientar que, muitas vezes, a alternativa de investimento escolhida acaba não sendo a mais lucrativa, ou em razão dos erros da projeção feita, haja vista a existência de variáveis exógenas ao modelo, ou seja, variáveis que não são de controle do analista ou gestor, tais como taxa de juros, taxa de câmbio e outros; ou por conta do caráter social do projeto. Para os casos de falhas no projeto, a simulação procura identificar as variações dos resultados esperados, numa tentativa de melhorar a previsão. Esses são os principais métodos de seleção de projetos utilizados na atualidade por instituições de pesquisa e/ou organizações privadas em todo o mundo. Esses métodos são aplicáveis a seleção de projetos em todas as empresas de energia elétrica reguladas pela ANEEL e aliam a otimização dos resultados dos programas de P&D e o os objetivos estratégicos dessas empresas. Sendo assim, segue um maior detalhamento do método utilizado neste artigo. 2. A Teoria da Decisão e os Métodos Multicritérios A teoria da decisão fundamenta-se no pressuposto de que os indivíduos são racionais em situações de decisão simples. Em cenários mais complexos necessita-se de uma teoria que auxilie a tomada de decisão. Dessa forma, na década de 1970, começaram a surgir os primeiros Métodos de Apoio ou Auxílio Multicritério à Decisão (MAMD)1, hoje amplamente difundidos pelo mundo, com o intuito de enfrentar situações específicas. Casos em que o tomador de decisão deveria resolver um problema com vários objetivos, muitas vezes conflitantes. Dentro dessa perspectiva, esses métodos têm sido desenvolvidos para melhor conduzir os analistas na escolha de alternativas com diversos critérios e em diferentes espaços. Nesse contexto, os métodos multicritérios objetivam auxiliar analistas e decisores em situações onde há a necessidade de identificação de prioridades entre os vários critérios a serem considerados, de forma a apoiar e conduzir os decisores na avaliação e escolha da melhor alternativa para a tomada de decisão. O espaço das variáveis de decisão consiste no conjunto de decisões factíveis e não-factíveis para um dado problema. Ademais, esses métodos reconhecem a subjetividade como inerente aos problemas de decisão e utilizam julgamentos de valor para tratála cientificamente. Os elementos essenciais a qualquer problema multicritério constituem-se de: (a) decisores – quem faz as escolhas e assume as preferências, grupos de pessoas ou especialistas no assunto 1Também são utilizadas as seguintes nomenclaturas, Multicriteria Decision Making (MCDM) e Multicriteria Decision Aid (MCDA). 4 abordado; (b) analista – quem interpreta e quantifica as opiniões dos decisores, estrutura o problema, elabora o modelo matemático e apresenta os resultados para a decisão; (c) modelo – conjunto de operações matemáticas capazes de transformar as preferências dos decisores em um resultado quantitativo; (d) alternativas – ações globais e independentes que visam à solução do problema; (e) critérios/atributos – os atributos são as ferramentas que permitem a comparação entre as diversas alternativas. Quando se aplica uma escala de valor ao atributo, a partir da preferência do decisor, tem-se o critério. Em essência, esses métodos estão relacionados a um problema de otimização com diferentes funções-objetivo simultâneas. Expresso por Max F(X), onde F(X) é o vetor [f1(x), f2(x),..., fp(x)] de “p” funções-objetivo que representam os objetivos simultâneos do problema e “x” é o vetor [x1, x2,..., xn] das “n” variáveis de decisão. O conjunto de escolhas “X” pode ser discreto ou contínuo (Bouyssou (1993) apud GOMES, ARAYA e CARIGNANO, 2004). A decisão multicritério considera que existe um conjunto de alternativas (conjunto “A”) para resolver determinado problema. Esse conjunto pode ser dividido em subconjuntos que atendam critérios preestabelecidos, de forma que essas alternativas possam ser ordenadas e comparadas considerando seu potencial para solucionar o problema. Faz-se mister destacar que a utilização desses métodos sempre requer o fator humano. Ou seja, a decisão não se dá apenas com base em algoritmos, de forma que utiliza elementos objetivos e subjetivos. O procedimento de qualquer um dos métodos de apoio à decisão multicritério deve seguir as seguintes etapas: (a) identificar os tomadores de decisão; (b) definir os critérios relevantes para o problema de decisão; (c) identificar as alternativas; (d) determinar a importância relativa dos critérios (atribuição de pesos2); (e) avaliar as alternativas em relação aos critérios (esta parte denomina-se scoring ou pontuação)3; (f) determinar a avaliação global de cada alternativa (usando a função de valor multiatributo); (g) realizar a análise de sensibilidade (para perceber a resistência dos valores das alternativas a possíveis mudanças nas preferências do tomador de decisão); (h) apresentação do resultado final. O Método Analytic Hierarchy Process (AHP), também conhecido como Método de Análise Hierárquica, foi elaborado pelo Dr. Thomas Saaty na década de 1970, quando trabalhava no Departamento de Defesa dos Estados Unidos. Na época, consolidou-se como ferramenta aplicativa com o Estudo dos Transportes do Sudão, mas tem sido utilizado nas mais diversas áreas (SIQUEIRA, 2004). O método fundamenta-se na comparação paritária das alternativas. Inicialmente o problema é dividido em fatores, que podem ser decompostos em novos fatores até um nível mais baixo, de forma a se organizar uma hierarquia de níveis descendentes: o objetivo final no topo da hierarquia, os critérios imediatamente abaixo, depois os sub-critérios e, por fim, os possíveis resultados ou cenários. 2 Os pesos são os valores de trade-off ou taxa marginal de substituição, que determinam quanto de um critério está-se disposto a ceder, com a finalidade de melhorar o desempenho do outro. 3 Procura-se quantificar o valor de cada alternativa em relação a cada critério e também em relação à alternativa. 5 Esse processo segue quatro etapas básicas: (a) estruturação hierárquica; (b) aplicação da comparação paritária dos elementos em cada nível do sistema; (c) princípio de priorização e; (d) sintetização de prioridades. A etapa de estruturação hierárquica constitui-se da formulação do problema, ou seja, a definição do objetivo global e decomposição do sistema em vários níveis de hierarquia, dependendo da complexidade do problema tratado. No caso mais simples, a hierarquia é formada por três níveis: (1) objetivo geral; (2) critérios; (3) alternativas. Existe uma correlação binária (um elemento é preferível ou indiferente a outro) e uma escala de valores (onde cada atributo é associado a um valor de prioridade sobre os outros em uma escala numérica); construção da árvore hierárquica (elementos ordenados por ordem de preferência, mas homogêneos em cada nível hierárquico); por fim, a constituição de critérios e alternativas para a elaboração do problema. Deve-se frisar que a escolha das variáveis não é aleatória, pois considera o fenômeno estudado a parir das instâncias econômica, institucional, cultural e espacial. Todavia, esse método apresenta uma forte dependência da etapa de estruturação do problema, o que reforça a tese de que a definição e estruturação coerente dos critérios e alternativas são de fundamental importância para o êxito do processo de tomada de decisão. 3. Non-Traditional Capital Investment Criteria - NCIC O Método Non-Traditional Capital Investment Criteira (NCIC) permite que se avalie não só os critérios econômico-financeiros, mas que se agregue a análise elementos de caráter social, ambiental, de regulação do setor elétrico ou quaisquer outros. Na verdade, esse método possui conceituação semelhante ao do AHP. Todavia, incorpora à análise multicritério valores em termos monetários, tornando-se uma ferramenta mais apropriada para decisões de cunho financeiro. Para a análise comparativa de diversos possíveis investimentos, considera-se, por exemplo, o valor do VPL nos diversos projetos de investimentos associando-os a um caso-base. A partir de um critério de ponderação e relevância semelhante ao do AHP, pode-se obter os valores dos pesos relativos de cada atributo em cada projeto, utilizando-se posteriormente a matriz de comparações pareadas como no método AHP. No final do processo, será realizada uma normalização adicional (própria do NCIC), onde os pesos relativos de cada atributo nãofinanceiro serão corrigidos pelo peso relativo do atributo financeiro, dando um resultado monetário para cada projeto, independente da natureza dos critérios ou atributos considerados. 4. Etapas e Resultados do Modelo NCIC 6 Em princípio, escolheu-se seis projetos de forma aleatória, respeitando um único critério: dois de cada tipo (social, ambiental e econômico). Em seguida, definiu-se os critérios, levando em consideração nossas discussões anteriores. São eles: C1 = variação do VPL, quer dizer a diferença entre o valor do VPL do projeto considerado (para nós o investimento) e do valor do VPL do projeto no cenário pessimista; C2 = competência do coordenador da equipe; C3 = competência da equipe; C4 = benefícios para a sociedade; C5 = benefícios para a unidade de pesquisa; C6 = benefícios para o setor de energia elétrica; C7 = benefícios para a Empresa. Comparando os critérios, projeto a projeto, montou-se o cenário pessimista. Ou seja, com exceção do primeiro critério, todos os outros terão, agora, os conceitos baixo, médio e alto. Para o cenário pessimista, admite-se que todos os critérios são baixos (ou ruins) e o VPL é inferior a todos os outros VPLS dos outros projetos. Sendo assim, todos os critérios que forem baixos (tal como no cenário pessimista) serão excluídos do modelo. As matrizes pareadas são formadas pelos critérios não excluídos em cada projeto. Em seguida, o especialista (ou uma média da opinião de vários especialistas) dá os pesos das matrizes, de acordo com o julgamento de quão mais importante é um critério sobre o outro para a resolução do modelo. As matrizes são normalizadas como no modelo tradicional do AHP. Contudo, haverá uma nova normalização própria do NCIC, onde todos os valores serão corrigidos pelo valor monetário. Por fim, tem-se cada critério não monetário como uma percentagem do valor monetário, que ao ser agregado ao valor inicial do VPL, dará o valor final do projeto. Utilizou-se os dados de cinco projetos de uma Empresa do Setor Elétrico, considerando as categorias econômico, social e ambiental para simular alguns resultados, que podem ser demonstrados na Tabela 1. 7 Projeto 1 Cenário Pessimista Investimento 90% do Investimento 1.411.520 1.270.368 ∆I W* 141.152 2,41 1,68 0,39 3,45 VA Vk 340.176 2.530.855 237.135 55.049 486.974 Ganho (%) 79,3 Projeto 2 Cenário Pessimista Investimento 90% do Investimento 1.217.951 1.096.156 ∆I W* 121.795 0,36 0,36 0,09 0,12 2,23 VA Vk 43.846 1.602.824 43.846 10.962 14.615 271.603 Ganho (%) 31,6 Projeto 3 Cenário Pessimista Investimento 90% do Investimento 300.000 270.000 ∆I W* 30.000 0,09 VA 2.700 Vk Ganho (%) 302.700 0,9 Vk Ganho (%) Projeto 4 Cenário Pessimista Investimento 90% do Investimento 651.562 586.406 ∆I W* 65.156 0,49 0,53 3,71 0,38 1,83 VA 31.927 1.103.746 34.533 241.730 24.759 119.236 69,4 Projeto 5 Cenário Pessimista Investimento 90% do Investimento 3.795.278 3.415.750 ∆I W* 379.528 0,64 0,76 1,73 0,23 VA Vk 242.898 5.070.491 288.441 656.583 87.291 Ganho (%) 33,6 Fonte: Elaboração própria, a partir dos dados coletados na pesquisa. Tabela 1 – Resultado da Seleção de Projetos de Investimentos A partir dos resultados da Tabela 1 percebe-se que, dos cinco projetos considerados, a melhor alternativa de investimento é o Projeto 1, mesmo sendo o Projeto 5 o de maior investimento. Isso quer dizer que o modelo incorporou elementos subjetivos ao valor de cada investimento a partir dos pesos que a Empresa dá a cada elemento subjetivo desse, de forma que o valor total do projeto passa a incorporar outros elementos para além do financeiro, tais como aspectos sociais, ambientais e regulatórios do setor. 8 5. Conclusão O volume de literatura sobre seleção e avaliação de projetos de investimentos em P&D tem crescido nos últimos anos, tanto pelas questões impostas pelos órgãos reguladores, como pelas necessidades de melhor gerenciamento da carteira de portfólio nas empresas. No caso do setor elétrico brasileiro, além de atender às regras estabelecidas pela ANEEL, as concessionárias precisam de melhores técnicas de gerenciamento desses investimentos, até para que permaneçam de maneira eficiente em um mercado cada vez mais competitivo. Nesse sentido, as metodologias apresentadas e propostas para a seleção e avaliação de projetos de P&D no setor de energia possuem uma característica semelhante, que é incorporar elementos subjetivos ou intangíveis ao processo de avaliação. Diante desse contexto, um grande desafio para as empresas é adotar o método que consiga captar de forma acurada, a avaliação subjetiva dos especialistas envolvidos no processo de seleção. Este artigo constitui-se no primeiro de alguns outros artigos sobre seleção e avaliação de projetos no setor elétrico brasileiro. Neste primeiro ensaio, a proposta foi elencar os projetos de investimentos de P&D a partir de critérios financeiros e não-financeiros, utilizando-se da ferramenta do Non-Traditional Capital Investment Criteria - NCIC. BIBLIOGRAFIA BERGAMINI, S. et al. (2003) Modelo de avaliação de risco de crédito em projetos de investimento quanto aos aspectos ambientais. IBEA, Annual Congress Puerto Vallarta, november. 20-22, 2003. CHARMOVITZ, I. (2007) Avaliação de Intangíveis em organizações sem fins lucrativos utilizando fundamentos de apoio multicritério à decisão. XI Encontro de Engenharia da Produção da UFRJ. UFRJ/COPPE/PEP/APIT. 2007. CHAPIESKI, Jefferson. Proposta de Método para seleção de Projetos de P&D em Empresas Distribuidoras de Energia Elétrica. 2007. Dissertação (Mestrado Profissionalizante em Desenvolvimento de Tecnologia) – PRODETEC Programa de Pós-graduação em Desenvolvimento de Tecnologia, LATEC- Instituto de Tecnologia para o Desenvolvimento, Curitiba. CHEN, T.; CHEN, L. DEA Performance Evaluation Based on BSC Indicators Incorporated: The Case of Semiconductor Industry. International Journal of Productivity and Performance Management. v. 56, n. 4, p. 335-357, 2007. EILAT, H., GOLANY, B. & Shtub, A. (2004). Constructing and Evaluating Balanced Portfolios of R&D Projects with Interactions: a DEA Based Methodology. European Journal of Operational Research, 172, pp 1018–1039. 9 EILAT, H., GOLANY, B. & Shtub, A. (2006). R&D Project Evaluation: An Integrated DEA and Balanced Scorecard Approach. Journal of Management Science, 36, pp 895-912. EILAT, H., GOLANY, B. & Shtub, A. (2004). Constructing and Evaluating Balanced Portfolios of R&D Projects with Interactions: a DEA Based Methodology. European Journal of Operational Research, 172, pp 1018–1039. FILHO, C.A.M; WEINBERG, G.M.L. (2002) Seleção de projetos de P&D: uma abordagem prática. Revista de Administração, São Paulo, v.37, n.1, p.85-92, janeiro-março, 2002. FRASCATI, Manual. Proposed Standard Practice for Surveys on Research an Experimental Development, OCDE 2002. KAPLAN, R.S. & NORTON, D.P. A estratégia em ação. Rio de Janeiro: Campus, 1997. KAPLAN, R.S. & NORTON, D.P. Using the Balanced Scorecard as a Strategic Management System. Building a scorecard can help managers link today’s actions with tomorrw’s goals. Harvard Business Review. January-february, 1996. KIMURA, H.; SUEN, A.S. Ferramentas de Análise Gerencial Baseadas em Modelos de Decisão Multicriteriais. RAE-eletrônica, vol.2, n.1, jan-jun/2003. LEONE, R.; NASCIMENTO, R.O. (2007) Proposta de mensuração de risco baseado em utilidade. R. Cont. Fin. USP, São Paulo, n.44, p.23-32, maio-agosto, 2007. MACEDO, M. A. S. ; BARBOSA, Ana Carolina Thomaz de Almeida Monteiro ; CAVALCANTE, G. T. Desempenho de Agências Bancárias no Brasil: aplicando Análise Envoltória de Dados (DEA) a indicadores relacionados às perspectivas do BSC. In: Congresso USP de Controladoria e Contabilidade, 2008, São Paulo. Anais do VIII Congresso USP de Controladoria e Contabilidade. São Paulo, 2008. MAGALHÃES, Ivan Luizio R. G. Balanced Scorecard como ferramenta de seleção de projetos de TI - Desmistificando a “Sacred Cow”. Seminário Gestão de Projetos SUCESU-SP 2003. Manual do Programa de Pesquisa de Desenvolvimento Tecnológico do Setor de Energia Elétrica. Maio/2008. MARTINS, J.R. (2001) Métodos para Avaliar Ativos Intangíveis. Karl-Erik Sveiby (no Brasil, GlobalBrands Consultoria), jan 2001. (mimeo) NIVEN, PAUL R. Balanced Scorecard passo-a-passo: Elevando o Desempenho e Mantendo Resultados – Rio de Janeiro: Quality Mark, 2005. 10 OZORIO, D.M. Corporatemetrics – mensuração do risco corporativo: estudo de caso do mercado siderúrgico brasileiro. Faculdade de Administração e Economia (IBMEC). Rio de Janeiro, 2006. (Dissertação de Mestrado) PEDROSO, L.H.T.R. (2007) Uma sistemática para a identificação, análise qualitativa e análise quantitativa dos riscos em projetos. USP. Departamento de Engenharia Naval. 2007 (Dissertação de Mestrado). ROGERS, D.; ROGERS, P.; RIBEIRO, K.C.S. (2006) Análise de alternativas de investimento considerando os efeitos do risco: simulação por Hipercubo Latino. XIII Congresso Brasileiro de Custos. Belo Horizonte, MG, 30 de outubro a 1º de novembro de 2006. ROVAI, R. et al. (2006) Modelo de avaliação de riscos em gestão estratégica de projetos: estudo de caso em empresa de autopeças. XXVI ENEGEP – ABEPRO, Fortaleza-CE, 9-11 outubro de 2006. SANTOS, D.T.E.; SANTIAGO, L.P. (200?) Avaliar versus valorar – novas tecnologias: desmistificando conceitos. Laboratório de apoio à decisão e confiabilidade. Departamento de Engenharia da Produção. UFMG. (200?) SANTOS, Wider Basílio. Modelo de Gestão Executiva do Programa de Pesquisa e Desenvolvimento Tecnológico da Celpe. Dissertação (Mestrado). Universidade Federal de Pernambuco, Recife, 2004. SCHONEBORN, F. Linking the Balanced Scorecard to System Dynamics, Economic System Reports, No. 1. (2003). SILVA, L.C. O Balanced Scorecard e o Processo Estratégico. Caderno de Pesquisas em Administração. São Paulo, v.10, nº.4, p.61-73, outubro/novembro 2003. SOUZA, A.A.; LIGO, A.; MOYA, R.W. (1997) Gerenciamento, avaliação e quantificação do risco de projetos. Cadernos de Pesquisas em Administração, v.2, n.5, 2º semestre, 1997. 11