XXX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇÃO
Maturidade e desafios da Engenharia de Produção: competitividade das empresas, condições de trabalho, meio ambiente.
São Carlos, SP, Brasil, 12 a15 de outubro de 2010.
FERRAMENTAS DE SELEÇÃO DE
PROJETOS DE P&D NO SETOR
ELÉTRICO BRASILEIRO COM BASE EM
MODELOS DE DECISÃO
MULTICRITÉRIOS
MONALIZA DE OLIVEIRA FERREIRA (UFPE)
[email protected]il.com
Cinthya Melo do Carmo (UFPE)
[email protected]
LUCIANA ELIZABETH DA MOTA TÁVORA (FUNDAJ)
[email protected]
Francisco de Sousa Ramos (UFPE)
[email protected]
ADRIANA KARLA BRASILEIRO DE CARVALHO (CELPE)
[email protected]
Nos últimos anos têm crescido expressivamente os gastos de P&D do setor
elétrico em função do novo ambiente institucional gerado pela reforma do
setor. Alguns aspectos que não estão explícitos em valores financeiros no
balanço das empresas vêm sendo valorizados não só por empresários,
mas por pesquisadores e pela sociedade como um todo. Neste sentido, o
presente trabalho objetivou realizar uma pesquisa exploratória sobre as
melhores práticas para seleção de projetos de P&D no setor elétrico
brasileiro, baseada em critérios objetivos e subjetivos alinhados ao
planejamento estratégico da empresa. Para tanto, foi realizada uma
pesquisa bibliográfica para a fundamentação teórica e foram levantadas
as informações necessárias para realizar algumas simulações com dados
de uma Empresa do Setor Elétrico Brasileiro. O Método Non-Traditional
Capital Investment Criteria (NCIC) permite que se avalie não só os
critérios econômico-financeiros, mas que se agregue a análise elementos
de caráter social, ambiental, de regulação do setor elétrico ou quaisquer
outros. Os resultados demonstram que, dos cinco projetos considerados, a
melhor alternativa de investimento é o Projeto 1, mesmo sendo o Projeto 5
o de maior investimento.
Palavras-chaves: seleção de projetos, p&d, setor elétrico
1. Introdução
Nos últimos anos têm crescido expressivamente os gastos de P&D do setor elétrico em função do
novo ambiente institucional gerado pela reforma do setor. Os projetos de P&D da ANEEL estão
relacionados a um conjunto heterogêneo de atividades, uma carteira de projetos em diversas
temáticas selecionadas pelas empresas. Dado o volume de capital investido e a importância do
P&D para o desenvolvimento do setor elétrico, esse conjunto precisa ser analisado
constantemente para que se possa gerar uma medida mais precisa dos resultados dos
empreendimentos tecnológicos nacionais. Além disso, a crescente competitividade entre as
empresas aliada às demandas mais restritivas e exigentes em termos de prazo, custo e qualidade
levam-nas a uma maior necessidade de gerar novas práticas, técnicas, processos e metodologias
associadas ao gerenciamento de projetos.
Alguns aspectos que não estão explícitos em valores financeiros no balanço das empresas vêm
sendo valorizados não só por empresários, mas por pesquisadores e pela sociedade como um
todo. Nesse sentido, a preocupação com a responsabilidade social e ambiental pode fazer a
diferença na tomada de decisão de um investidor. Dessa forma, esses ativos “intangíveis” são
cada vez mais importantes dentro das organizações, públicas e privadas. Mas como mensurar um
projeto social e avaliá-lo economicamente se todo projeto envolve custos financeiros? Veja-se o
caso de uma campanha de vacinação. Certamente, haverá custos com a vacina, as seringas, o
pessoal, o transporte, a divulgação etc. O benefício adquirido pode ser medido economicamente?
Ademais, quais fatores determinam se esse projeto é de P&D ou não? (CHAMOVITZ, 2007).
Segundo Niven (2005), na atual era da informação ou conhecimento, o valor é criado a partir de
bens intangíveis (know-how, relacionamentos, culturas organizacionais). Assim sendo, a medição
do desempenho das empresas precisa de algo além das medidas financeiras tradicionais (Valor
Presente Líquido (VPL), Taxa Interna de Retorno (TIR) etc.). Esses métodos, embora possuam
seus méritos, vêm recebendo críticas por não serem adequados à realidade atual dos negócios,
onde as atividades geradoras de valor muitas vezes não são captadas através de ativos fixos e
tangíveis.
A seleção e priorização de projetos de P&D normalmente envolvem elevados orçamentos e
tecnologias complexas. A seleção de um projeto ao invés de outros é uma tarefa bastante
complicada, visto que a cada projeto está associado um custo, um benefício e um risco que
dificilmente podem ser previstos dado o ambiente de incerteza que permeia o dia a dia das
empresas e que afetam diretamente cada investimento. Dessa forma, para facilitar o processo
decisório, os projetos devem estar completamente alinhados com a estratégia da empresa, a fim
de evidenciarem os aspectos vitais para o sucesso na execução desses investimentos.
Nesse sentido, a qualidade e quantidade das informações disponíveis para o tomador de decisão
darão uma boa medida do grau de dificuldade do trabalho necessário. No caso de projetos P&D
os dados nem sempre são confiáveis ou são insuficientes. Além disso, esses projetos envolvem,
2
muitas vezes, alto comprometimento de recursos materiais humanos em longos períodos de
tempo (MORAES FILHO; WEINBERG, 2002).
Ademais, a incerteza é um elemento inerente à avaliação de qualquer projeto, principalmente se
envolverem inovação. Isso ocorre, principalmente, em razão das dificuldades de se estimar com
precisão os possíveis resultados para as diversas alternativas dos projetos. Nessa perspectiva,
cada vez vem mais se tornam necessários procedimentos e estratégias eficazes que auxiliem na
tarefa de identificar, eliminar, reduzir, avaliar e controlar as eventuais fontes de risco (SOUZA;
LIGO; MOYA, 1997).
As organizações deparam-se constantemente com situações em que precisam decidir qual o
melhor investimento, de forma que maximize valor. Contudo, as técnicas usualmente utilizadas
de otimização não consideram variações nos resultados, desconsiderando, assim, os riscos
envolvidos nas projeções (ROGERS, ROGERS, e RIBEIRO, 2006).
Neste sentido, o presente trabalho objetivou realizar uma pesquisa exploratória sobre as melhores
práticas para seleção de projetos de P&D no setor elétrico brasileiro, baseada em critérios
objetivos e subjetivos alinhados ao planejamento estratégico da empresa e de fácil
implementação, bem como a aplicação de um método de análise multicritério - Non-Traditional
Capital Investment Criteria – NCIC. Sendo assim, foi realizada uma pesquisa bibliográfica para a
fundamentação teórica e foram levantadas as informações necessárias para realizar algumas
simulações, de uma Empresa do Setor Elétrico Brasileiro. Além disso, foram estudados os
critérios utilizados pela ANEEL na avaliação de projetos de P&D, segundo o Manual do
Programa de Pesquisa e Desenvolvimento Tecnológico do Setor de Energia Elétrica da ANEEL
de maio de 2008 e foi utilizado um Método de Análise Multicritério.
Para atender ao objetivo da melhor seleção de projetos, um instrumento que se apresenta para
planejamento e gestão de empresas que aponte para as tendências do desenvolvimento, além do
resultado financeiro, englobando uma amplitude de parâmetros que possa caracterizar o
desempenho das organizações, tornando-as mais competitivas é o BSC – Balanced Scorecard,
originalmente desenvolvido por Robert Kaplan e David Norton a partir de 1990 que, com
pequenas adaptações, pode ser utilizado para representar e avaliar as necessidades do
departamento de P&D das empresas do setor de energia.
Outra metodologia que também vem ganhando destaque na seleção de projetos de P&D é o DEA
(Data Envelopment Analysis), que apresenta vantagens para a tomada de decisão entre
alternativas e que permite utilizar inputs e outputs com alto grau de heterogeneidade.
A análise de risco, apesar de importante diante de um cenário incerto, também envolve alguma
dose de intuição. Costumeiramente dá-se um caráter determinístico às projeções, quando, na
verdade, têm caráter probabilístico. Nesse sentido, as previsões realizadas podem não se
efetivarem em razão de possíveis erros, que podem ser amenizados através da taxa de desconto
ajustada, análise de sensibilidade e simulação. Esta é uma tentativa de replicação de um sistema
real, através da construção de um modelo matemático tão parecido quanto possível da realidade.
Dessa forma, obtém-se como resultado não um índice, mas uma distribuição de frequências do
3
mesmo, sendo traduzidos em números o aspecto risco, pela variância e suas relações, dentro de
um intervalo de confiança (ROGERS, ROGERS e RIBEIRO, 2006).
Entretanto, além desses, um dos métodos mais atuais que vem sendo utilizado para o auxilio na
tomada de decisão sobre investimentos incorpora o uso dos métodos multicritérios. Trata-se do
Non-Traditional Capital Investment Criteria – NCIC-, concebido por Boucher e MacStravic em
um artigo publicado em 1991 no periódico Engineering Economist. No Brasil, Kimura e Suen
(2003) vêm difundindo o método com várias aplicações em análises de projetos.
Convém salientar que, muitas vezes, a alternativa de investimento escolhida acaba não sendo a
mais lucrativa, ou em razão dos erros da projeção feita, haja vista a existência de variáveis
exógenas ao modelo, ou seja, variáveis que não são de controle do analista ou gestor, tais como
taxa de juros, taxa de câmbio e outros; ou por conta do caráter social do projeto. Para os casos de
falhas no projeto, a simulação procura identificar as variações dos resultados esperados, numa
tentativa de melhorar a previsão.
Esses são os principais métodos de seleção de projetos utilizados na atualidade por instituições de
pesquisa e/ou organizações privadas em todo o mundo. Esses métodos são aplicáveis a seleção
de projetos em todas as empresas de energia elétrica reguladas pela ANEEL e aliam a otimização
dos resultados dos programas de P&D e o os objetivos estratégicos dessas empresas. Sendo
assim, segue um maior detalhamento do método utilizado neste artigo.
2. A Teoria da Decisão e os Métodos Multicritérios
A teoria da decisão fundamenta-se no pressuposto de que os indivíduos são racionais em
situações de decisão simples. Em cenários mais complexos necessita-se de uma teoria que auxilie
a tomada de decisão. Dessa forma, na década de 1970, começaram a surgir os primeiros Métodos
de Apoio ou Auxílio Multicritério à Decisão (MAMD)1, hoje amplamente difundidos pelo
mundo, com o intuito de enfrentar situações específicas. Casos em que o tomador de decisão
deveria resolver um problema com vários objetivos, muitas vezes conflitantes. Dentro dessa
perspectiva, esses métodos têm sido desenvolvidos para melhor conduzir os analistas na escolha
de alternativas com diversos critérios e em diferentes espaços.
Nesse contexto, os métodos multicritérios objetivam auxiliar analistas e decisores em situações
onde há a necessidade de identificação de prioridades entre os vários critérios a serem
considerados, de forma a apoiar e conduzir os decisores na avaliação e escolha da melhor
alternativa para a tomada de decisão. O espaço das variáveis de decisão consiste no conjunto de
decisões factíveis e não-factíveis para um dado problema. Ademais, esses métodos reconhecem a
subjetividade como inerente aos problemas de decisão e utilizam julgamentos de valor para tratála cientificamente.
Os elementos essenciais a qualquer problema multicritério constituem-se de: (a) decisores –
quem faz as escolhas e assume as preferências, grupos de pessoas ou especialistas no assunto
1Também
são utilizadas as seguintes nomenclaturas, Multicriteria Decision Making (MCDM) e Multicriteria Decision Aid (MCDA).
4
abordado; (b) analista – quem interpreta e quantifica as opiniões dos decisores, estrutura o
problema, elabora o modelo matemático e apresenta os resultados para a decisão; (c) modelo –
conjunto de operações matemáticas capazes de transformar as preferências dos decisores em um
resultado quantitativo; (d) alternativas – ações globais e independentes que visam à solução do
problema; (e) critérios/atributos – os atributos são as ferramentas que permitem a comparação
entre as diversas alternativas. Quando se aplica uma escala de valor ao atributo, a partir da
preferência do decisor, tem-se o critério.
Em essência, esses métodos estão relacionados a um problema de otimização com diferentes
funções-objetivo simultâneas. Expresso por Max F(X), onde F(X) é o vetor [f1(x), f2(x),..., fp(x)]
de “p” funções-objetivo que representam os objetivos simultâneos do problema e “x” é o vetor
[x1, x2,..., xn] das “n” variáveis de decisão. O conjunto de escolhas “X” pode ser discreto ou
contínuo (Bouyssou (1993) apud GOMES, ARAYA e CARIGNANO, 2004).
A decisão multicritério considera que existe um conjunto de alternativas (conjunto “A”) para
resolver determinado problema. Esse conjunto pode ser dividido em subconjuntos que atendam
critérios preestabelecidos, de forma que essas alternativas possam ser ordenadas e comparadas
considerando seu potencial para solucionar o problema. Faz-se mister destacar que a utilização
desses métodos sempre requer o fator humano. Ou seja, a decisão não se dá apenas com base em
algoritmos, de forma que utiliza elementos objetivos e subjetivos.
O procedimento de qualquer um dos métodos de apoio à decisão multicritério deve seguir as
seguintes etapas: (a) identificar os tomadores de decisão; (b) definir os critérios relevantes para o
problema de decisão; (c) identificar as alternativas; (d) determinar a importância relativa dos
critérios (atribuição de pesos2); (e) avaliar as alternativas em relação aos critérios (esta parte
denomina-se scoring ou pontuação)3; (f) determinar a avaliação global de cada alternativa
(usando a função de valor multiatributo); (g) realizar a análise de sensibilidade (para perceber a
resistência dos valores das alternativas a possíveis mudanças nas preferências do tomador de
decisão); (h) apresentação do resultado final.
O Método Analytic Hierarchy Process (AHP), também conhecido como Método de Análise
Hierárquica, foi elaborado pelo Dr. Thomas Saaty na década de 1970, quando trabalhava no
Departamento de Defesa dos Estados Unidos. Na época, consolidou-se como ferramenta
aplicativa com o Estudo dos Transportes do Sudão, mas tem sido utilizado nas mais diversas
áreas (SIQUEIRA, 2004).
O método fundamenta-se na comparação paritária das alternativas. Inicialmente o problema é
dividido em fatores, que podem ser decompostos em novos fatores até um nível mais baixo, de
forma a se organizar uma hierarquia de níveis descendentes: o objetivo final no topo da
hierarquia, os critérios imediatamente abaixo, depois os sub-critérios e, por fim, os possíveis
resultados ou cenários.
2
Os pesos são os valores de trade-off ou taxa marginal de substituição, que determinam quanto de um critério está-se disposto a ceder, com a
finalidade de melhorar o desempenho do outro.
3 Procura-se quantificar o valor de cada alternativa em relação a cada critério e também em relação à alternativa.
5
Esse processo segue quatro etapas básicas: (a) estruturação hierárquica; (b) aplicação da
comparação paritária dos elementos em cada nível do sistema; (c) princípio de priorização e; (d)
sintetização de prioridades.
A etapa de estruturação hierárquica constitui-se da formulação do problema, ou seja, a definição
do objetivo global e decomposição do sistema em vários níveis de hierarquia, dependendo da
complexidade do problema tratado. No caso mais simples, a hierarquia é formada por três níveis:
(1) objetivo geral; (2) critérios; (3) alternativas.
Existe uma correlação binária (um elemento é preferível ou indiferente a outro) e uma escala de
valores (onde cada atributo é associado a um valor de prioridade sobre os outros em uma escala
numérica); construção da árvore hierárquica (elementos ordenados por ordem de preferência, mas
homogêneos em cada nível hierárquico); por fim, a constituição de critérios e alternativas para a
elaboração do problema. Deve-se frisar que a escolha das variáveis não é aleatória, pois considera
o fenômeno estudado a parir das instâncias econômica, institucional, cultural e espacial.
Todavia, esse método apresenta uma forte dependência da etapa de estruturação do problema, o
que reforça a tese de que a definição e estruturação coerente dos critérios e alternativas são de
fundamental importância para o êxito do processo de tomada de decisão.
3. Non-Traditional Capital Investment Criteria - NCIC
O Método Non-Traditional Capital Investment Criteira (NCIC) permite que se avalie não só os
critérios econômico-financeiros, mas que se agregue a análise elementos de caráter social,
ambiental, de regulação do setor elétrico ou quaisquer outros. Na verdade, esse método possui
conceituação semelhante ao do AHP. Todavia, incorpora à análise multicritério valores em
termos monetários, tornando-se uma ferramenta mais apropriada para decisões de cunho
financeiro.
Para a análise comparativa de diversos possíveis investimentos, considera-se, por exemplo, o
valor do VPL nos diversos projetos de investimentos associando-os a um caso-base. A partir de
um critério de ponderação e relevância semelhante ao do AHP, pode-se obter os valores dos
pesos relativos de cada atributo em cada projeto, utilizando-se posteriormente a matriz de
comparações pareadas como no método AHP. No final do processo, será realizada uma
normalização adicional (própria do NCIC), onde os pesos relativos de cada atributo nãofinanceiro serão corrigidos pelo peso relativo do atributo financeiro, dando um resultado
monetário para cada projeto, independente da natureza dos critérios ou atributos considerados.
4. Etapas e Resultados do Modelo NCIC
6
Em princípio, escolheu-se seis projetos de forma aleatória, respeitando um único critério: dois de
cada tipo (social, ambiental e econômico). Em seguida, definiu-se os critérios, levando em
consideração nossas discussões anteriores. São eles:
 C1 = variação do VPL, quer dizer a diferença entre o valor do VPL do projeto
considerado (para nós o investimento) e do valor do VPL do projeto no cenário
pessimista;
 C2 = competência do coordenador da equipe;
 C3 = competência da equipe;
 C4 = benefícios para a sociedade;
 C5 = benefícios para a unidade de pesquisa;
 C6 = benefícios para o setor de energia elétrica;
 C7 = benefícios para a Empresa.
Comparando os critérios, projeto a projeto, montou-se o cenário pessimista. Ou seja, com
exceção do primeiro critério, todos os outros terão, agora, os conceitos baixo, médio e alto. Para o
cenário pessimista, admite-se que todos os critérios são baixos (ou ruins) e o VPL é inferior a
todos os outros VPLS dos outros projetos. Sendo assim, todos os critérios que forem baixos (tal
como no cenário pessimista) serão excluídos do modelo.
As matrizes pareadas são formadas pelos critérios não excluídos em cada projeto. Em seguida, o
especialista (ou uma média da opinião de vários especialistas) dá os pesos das matrizes, de
acordo com o julgamento de quão mais importante é um critério sobre o outro para a resolução do
modelo.
As matrizes são normalizadas como no modelo tradicional do AHP. Contudo, haverá uma nova
normalização própria do NCIC, onde todos os valores serão corrigidos pelo valor monetário. Por
fim, tem-se cada critério não monetário como uma percentagem do valor monetário, que ao ser
agregado ao valor inicial do VPL, dará o valor final do projeto.
Utilizou-se os dados de cinco projetos de uma Empresa do Setor Elétrico, considerando as
categorias econômico, social e ambiental para simular alguns resultados, que podem ser
demonstrados na Tabela 1.
7
Projeto 1
Cenário Pessimista
Investimento
90% do Investimento
1.411.520
1.270.368
∆I
W*
141.152
2,41
1,68
0,39
3,45
VA
Vk
340.176 2.530.855
237.135
55.049
486.974
Ganho
(%)
79,3
Projeto 2
Cenário Pessimista
Investimento
90% do Investimento
1.217.951
1.096.156
∆I
W*
121.795
0,36
0,36
0,09
0,12
2,23
VA
Vk
43.846 1.602.824
43.846
10.962
14.615
271.603
Ganho
(%)
31,6
Projeto 3
Cenário Pessimista
Investimento
90% do Investimento
300.000
270.000
∆I
W*
30.000
0,09
VA
2.700
Vk
Ganho
(%)
302.700
0,9
Vk
Ganho
(%)
Projeto 4
Cenário Pessimista
Investimento
90% do Investimento
651.562
586.406
∆I
W*
65.156
0,49
0,53
3,71
0,38
1,83
VA
31.927 1.103.746
34.533
241.730
24.759
119.236
69,4
Projeto 5
Cenário Pessimista
Investimento
90% do Investimento
3.795.278
3.415.750
∆I
W*
379.528
0,64
0,76
1,73
0,23
VA
Vk
242.898 5.070.491
288.441
656.583
87.291
Ganho
(%)
33,6
Fonte: Elaboração própria, a partir dos dados coletados na pesquisa.
Tabela 1 – Resultado da Seleção de Projetos de Investimentos
A partir dos resultados da Tabela 1 percebe-se que, dos cinco projetos considerados, a melhor
alternativa de investimento é o Projeto 1, mesmo sendo o Projeto 5 o de maior investimento. Isso
quer dizer que o modelo incorporou elementos subjetivos ao valor de cada investimento a partir
dos pesos que a Empresa dá a cada elemento subjetivo desse, de forma que o valor total do
projeto passa a incorporar outros elementos para além do financeiro, tais como aspectos sociais,
ambientais e regulatórios do setor.
8
5. Conclusão
O volume de literatura sobre seleção e avaliação de projetos de investimentos em P&D tem
crescido nos últimos anos, tanto pelas questões impostas pelos órgãos reguladores, como pelas
necessidades de melhor gerenciamento da carteira de portfólio nas empresas. No caso do setor
elétrico brasileiro, além de atender às regras estabelecidas pela ANEEL, as concessionárias
precisam de melhores técnicas de gerenciamento desses investimentos, até para que permaneçam
de maneira eficiente em um mercado cada vez mais competitivo.
Nesse sentido, as metodologias apresentadas e propostas para a seleção e avaliação de projetos de
P&D no setor de energia possuem uma característica semelhante, que é incorporar elementos
subjetivos ou intangíveis ao processo de avaliação. Diante desse contexto, um grande desafio
para as empresas é adotar o método que consiga captar de forma acurada, a avaliação subjetiva
dos especialistas envolvidos no processo de seleção.
Este artigo constitui-se no primeiro de alguns outros artigos sobre seleção e avaliação de projetos
no setor elétrico brasileiro. Neste primeiro ensaio, a proposta foi elencar os projetos de
investimentos de P&D a partir de critérios financeiros e não-financeiros, utilizando-se da
ferramenta do Non-Traditional Capital Investment Criteria - NCIC.
BIBLIOGRAFIA
BERGAMINI, S. et al. (2003) Modelo de avaliação de risco de crédito em projetos de
investimento quanto aos aspectos ambientais. IBEA, Annual Congress Puerto Vallarta,
november. 20-22, 2003.
CHARMOVITZ, I. (2007) Avaliação de Intangíveis em organizações sem fins lucrativos
utilizando fundamentos de apoio multicritério à decisão. XI Encontro de Engenharia da Produção
da UFRJ. UFRJ/COPPE/PEP/APIT. 2007.
CHAPIESKI, Jefferson. Proposta de Método para seleção de Projetos de P&D em Empresas
Distribuidoras de Energia Elétrica. 2007. Dissertação (Mestrado Profissionalizante em
Desenvolvimento de Tecnologia) – PRODETEC Programa de Pós-graduação em
Desenvolvimento de Tecnologia, LATEC- Instituto de Tecnologia para o Desenvolvimento,
Curitiba.
CHEN, T.; CHEN, L. DEA Performance Evaluation Based on BSC Indicators Incorporated: The
Case of Semiconductor Industry. International Journal of Productivity and Performance
Management. v. 56, n. 4, p. 335-357, 2007.
EILAT, H., GOLANY, B. & Shtub, A. (2004). Constructing and Evaluating Balanced Portfolios
of R&D Projects with Interactions: a DEA Based Methodology. European Journal of
Operational Research, 172, pp 1018–1039.
9
EILAT, H., GOLANY, B. & Shtub, A. (2006). R&D Project Evaluation: An Integrated DEA and
Balanced Scorecard Approach. Journal of Management Science, 36, pp 895-912.
EILAT, H., GOLANY, B. & Shtub, A. (2004). Constructing and Evaluating Balanced Portfolios
of R&D Projects with Interactions: a DEA Based Methodology. European Journal of
Operational Research, 172, pp 1018–1039.
FILHO, C.A.M; WEINBERG, G.M.L. (2002) Seleção de projetos de P&D: uma abordagem
prática. Revista de Administração, São Paulo, v.37, n.1, p.85-92, janeiro-março, 2002.
FRASCATI, Manual. Proposed Standard Practice for Surveys on Research an Experimental
Development, OCDE 2002.
KAPLAN, R.S. & NORTON, D.P. A estratégia em ação. Rio de Janeiro: Campus, 1997.
KAPLAN, R.S. & NORTON, D.P. Using the Balanced Scorecard as a Strategic Management
System. Building a scorecard can help managers link today’s actions with tomorrw’s goals.
Harvard Business Review. January-february, 1996.
KIMURA, H.; SUEN, A.S. Ferramentas de Análise Gerencial Baseadas em Modelos de Decisão
Multicriteriais. RAE-eletrônica, vol.2, n.1, jan-jun/2003.
LEONE, R.; NASCIMENTO, R.O. (2007) Proposta de mensuração de risco baseado em
utilidade. R. Cont. Fin. USP, São Paulo, n.44, p.23-32, maio-agosto, 2007.
MACEDO, M. A. S. ; BARBOSA, Ana Carolina Thomaz de Almeida Monteiro ;
CAVALCANTE, G. T. Desempenho de Agências Bancárias no Brasil: aplicando Análise
Envoltória de Dados (DEA) a indicadores relacionados às perspectivas do BSC. In: Congresso
USP de Controladoria e Contabilidade, 2008, São Paulo. Anais do VIII Congresso USP de
Controladoria e Contabilidade. São Paulo, 2008.
MAGALHÃES, Ivan Luizio R. G. Balanced Scorecard como ferramenta de seleção de projetos
de TI - Desmistificando a “Sacred Cow”. Seminário Gestão de Projetos SUCESU-SP 2003.
Manual do Programa de Pesquisa de Desenvolvimento Tecnológico do Setor de Energia
Elétrica. Maio/2008.
MARTINS, J.R. (2001) Métodos para Avaliar Ativos Intangíveis. Karl-Erik Sveiby (no Brasil,
GlobalBrands Consultoria), jan 2001. (mimeo)
NIVEN, PAUL R. Balanced Scorecard passo-a-passo: Elevando o Desempenho e Mantendo
Resultados – Rio de Janeiro: Quality Mark, 2005.
10
OZORIO, D.M. Corporatemetrics – mensuração do risco corporativo: estudo de caso do
mercado siderúrgico brasileiro. Faculdade de Administração e Economia (IBMEC). Rio de
Janeiro, 2006. (Dissertação de Mestrado)
PEDROSO, L.H.T.R. (2007) Uma sistemática para a identificação, análise qualitativa e análise
quantitativa dos riscos em projetos. USP. Departamento de Engenharia Naval. 2007 (Dissertação
de Mestrado).
ROGERS, D.; ROGERS, P.; RIBEIRO, K.C.S. (2006) Análise de alternativas de investimento
considerando os efeitos do risco: simulação por Hipercubo Latino. XIII Congresso Brasileiro de
Custos. Belo Horizonte, MG, 30 de outubro a 1º de novembro de 2006.
ROVAI, R. et al. (2006) Modelo de avaliação de riscos em gestão estratégica de projetos: estudo
de caso em empresa de autopeças. XXVI ENEGEP – ABEPRO, Fortaleza-CE, 9-11 outubro de
2006.
SANTOS, D.T.E.; SANTIAGO, L.P. (200?) Avaliar versus valorar – novas tecnologias:
desmistificando conceitos. Laboratório de apoio à decisão e confiabilidade. Departamento de
Engenharia da Produção. UFMG. (200?)
SANTOS, Wider Basílio. Modelo de Gestão Executiva do Programa de Pesquisa e
Desenvolvimento Tecnológico da Celpe. Dissertação (Mestrado). Universidade Federal de
Pernambuco, Recife, 2004.
SCHONEBORN, F. Linking the Balanced Scorecard to System Dynamics, Economic System
Reports, No. 1. (2003).
SILVA, L.C. O Balanced Scorecard e o Processo Estratégico. Caderno de Pesquisas em
Administração. São Paulo, v.10, nº.4, p.61-73, outubro/novembro 2003.
SOUZA, A.A.; LIGO, A.; MOYA, R.W. (1997) Gerenciamento, avaliação e quantificação do
risco de projetos. Cadernos de Pesquisas em Administração, v.2, n.5, 2º semestre, 1997.
11