XXIII Encontro Nac. de Eng. de Produção - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003
Adequação das Técnicas de Data Mining para a Análise da
Informação na Medição de Desempenho
Flavio Augusto Custodio (UFSCar) [email protected]
Roberto Antonio Martins (UFSCar) [email protected]
Antonio Carlos dos Santos (UFSCar) [email protected]
Resumo
O objetivo deste artigo é discutir o uso de data mining na medição de desempenho.A medição
tem passado por significativas mudanças desde a constatação da inadequação do sistema de
medição de desempenho (SMD) tradicional, oriundo da Contabilidade Gerencial da década
de 20 do século passado. Existem vários direcionadores dessas mudanças, sendo a tecnologia
de informação (TI) uma deles. Apesar de não ser vital para a medição de desempenho, a TI
pode ajudar de forma substancial as atividades de um SMD (processos de coleta de dados
eficientes, armazenamento e gestão dos dados sobre desempenho e a disseminação dos
resultados sobre desempenho). Uma das abordagens de TI úteis no processo de medição de
desempenho é a data mining, pois ela explora bases de dados de desempenho históricas,
armazenados em data warehouses ou data marts, para realizar diversas análises com o
intuito de extrair informações úteis, tanto em quantidade e qualidade, para os tomadores de
decisão. No artigo são exploradas as relações entre operações, técnicas e ferramentas
mostrando possibilidades da data mining auxiliar a medição de desempenho.
Palavras chave: Medição de desempenho; Data mining; Análise da informação.
1. Introdução
Nos dias atuais as dinâmicas econômicas, sociais e políticas afetam o ambiente industrial e a
vida das grandes companhias e cada vez mais as mudanças se aceleram. Dentro desse
contexto, o sucesso das organizações vai depender da habilidade de reconhecer o ambiente em
que estão operando e de se modificarem de acordo com a mudança desse mesmo ambiente
(Neely, 1998).
Para que seja possível reconhecer o ambiente e alterar de acordo com ele, é necessário tomar
decisões baseadas no desempenho (Kaydos,1991). Por isso, para avaliar o desempenho
apropriadamente, as medidas de desempenho podem ser de grande utilidade para gerar
informação útil para a tomada de decisão visando o alcance de objetivos e metas da
organização (LEBAS, 1995).
A medição do desempenho aliada a uma arquitetura de informação facilita o uso das
informações para a tomada de decisão (Eccles, 1991), porém o excesso de dados coletados e
as várias perspectivas ou aspectos do desempenho podem dificultar o estabelecimento e
análise dos relacionamentos entre os indicadores de desempenho e conseqüentemente reduzir
a eficácia na geração de informação útil para a tomada de decisão (KUENG et al., 2001).
Uma forma de superar essa dificuldade é a utilização de uma abordagem de apoio à decisão
conhecida como data mining que pode extrair informações úteis de uma base de dados de
desempenho, contidas em uma data warehouse ou data mart (Kueng et al., 2001), por meio
de conjunto de técnicas presentes em uma operação analítica (modelagem preditiva, por
exemplo) que delineia a análise do tomador de decisão (CABENA et al., 1997).
Portanto, neste artigo são apresentados os tipos de operações analíticas, técnicas e ferramentas
da abordagem data mining e são discutidas as possíveis aplicações na medição de
desempenho.
ENEGEP 2003
ABEPRO
1
XXIII Encontro Nac. de Eng. de Produção - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003
O artigo é composto por uma fundamentação teórica em medição de desempenho mostrando a
relevância da tecnologia de informação como um direcionador das mudanças ocorridas nesse
campo a partir dos anos 90 do século passado. Também são apresentados a tecnologia de
informação e o papel do sistema de apoio à decisão no auxílio à medição de desempenho.
Posteriormente, é apresentada a abordagem data mining mostrando quando e como se deve
aplicá-la. É mostrado o papel da data warehouse no uso da data mining e quais são as etapas
de um projeto de data mining. Por fim, são discutidas as relações entre as operações
analíticas, técnicas e ferramentas de data mining e o auxílio dessa na medição de
desempenho. Conclusões serão feitas a partir da discussão.
2.
Medição de Desempenho e o papel da Tecnologia de Informação
A medição de desempenho (MD) é um tópico atual no campo da Engenharia de Produção e
áreas afins. Ela é definida como um processo de quantificação da eficiência (quão
economicamente os recursos são utilizados) e da eficácia (o quanto dos requerimentos dos
clientes são realizados) das ações passadas (NEELY, 1995).
Vários autores argumentam que a medição de desempenho vive uma revolução desde o início
da década passada (Eccles, 1991; Sink, 1991; Neely, 1998; Neely, 1999). Sobre essa
revolução, Neely (1999, p.208) apresenta um fato: “... Dez anos atrás pouca menção sobre o
desempenho não-financeiro era feita nos relatórios para os presidentes e executivos chefes.
Recentemente, algumas organizações tem tornado mais explícito a ligação entre as dimensões
financeiras e não-financeiras do desempenho...”.
A razão para essa revolução é a inadequação dos sistemas de medição de desempenho
tradicionais desenvolvidos com base na Contabilidade Gerencial do início do século passado,
coerente com o paradigma produtivo da produção em massa (MARTINS, 1998).
As mudanças internas e externas no ambiente industrial mostraram a incompatibilidade dos
princípios tayloristas com as novas demandas na indÚstria (Quadro 1):
Princípios Tayloristas
Mecanismos de desempenho
estáveis
são
Acesso à informação completa sobre as
tarefas
Desempenho se reduz à minimização de
custos
Custo global é igual ao custo do fator
predominante
Novas Demandas
Aumento da complexidade devido a aceleração da inovação tecnológica de
produto e processo, diminuição do ciclo de vida dos produtos e aumento da
concorrência no âmbito mundial
Aumento da complexidade das tecnologias de produto e processo,
crescimento do conteúdo de conhecimento das tarefas e surgimento de
especialistas
Adoção de estratégias de diferenciação devido ao aumento da concorrência
que inverte a lógica do mercado (passa a ser regido pela demanda)
O custo da mão de obra de indireta, dos equipamentos (amortização) e dos
materiais cresceram e não existe mais o fator dominante
Fonte: Martins (1998).
Quadro 1 - Perda de Validade dos Princípios Tayloristas
Essas mudanças no ambiente industrial se refletem na insatisfação no uso da Contabilidade
Gerencial, por meio do intenso aumento das críticas, tanto acadêmicas e empresariais, a
medição de desempenho financeira considerada obsoleta, voltada para uma perspectiva de
curto prazo e com forte potencial de manipulação por meio dos relatórios financeiros
(ECCLES, 1991). Ainda segundo esse mesmo autor, há uma maior preocupação gerencial
sobre o fato das medidas de desempenho financeiro mostrarem apenas as conseqüências das
decisões do passado e não indicarem o desempenho futuro.
Decorrente desses fatores que geraram a inadequação houve então a necessidade de uma visão
multidimensional e balanceada para acessar o desempenho levando ao surgimento de vários
modelos, como por exemplo, o Balanced Scorecard desenvolvido por Kaplan e Norton,
(1996). O objetivo dos modelos é ajudar as organizações a definirem um conjunto de medidas
ENEGEP 2003
ABEPRO
2
XXIII Encontro Nac. de Eng. de Produção - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003
de desempenho que reflitam os objetivos e avaliem o desempenho apropriadamente
(KENNERLEY e NEELY, 2002).
Pode-se constatar que os modelos de medição de desempenho eficazes e eficientes devem
considerar os seguintes fatores que mudaram a realidade das organizações em sua maioria
(NEELY, 1999):
• a mudança da natureza do trabalho;
• o aumento considerável da competição;
• as iniciativas de melhorias específicas;
• os prêmios da qualidade nacionais e internacionais;
• a mudança de foco do papel das organizações;
• a mudança de relacionamento das demandas externas; e
• o poder da tecnologia de informação.
Como destaque a esses fatores de mudança tem-se o poder da tecnologia de informação.
Apesar de não ser vital para a medição de desempenho, a tecnologia de informação pode
ajudar de forma substancial as atividades de um SMD (KUENG et al., 2001). Segundo
NEELY (1998, p.5), “....um SMD deve possibilitar que decisões e ações sejam tomadas com
base em informações porque ele quantifica a eficiência e a eficácia de decisões passadas por
meio da aquisição, compilação, categorização, análise, interpretação e disseminação de dados
adequados....”.
Portanto, a tecnologia de informação pode auxiliar uma SMD na automatização da atividade
de obtenção de informações, o que Kueng et al.(2000) define como o processo de obtenção de
dados relevantes de desempenho provenientes de diferentes recursos, podendo rapidamente
comparar os valores atuais com dados históricos e metas e comunicar os resultados para os
atores organizacionais.
Tendo em vista as mudanças do ambiente industrial com o aumento da complexidade das
organizações e a adoção de estratégias competitivas de diferenciação, a complexidade da
medição de desempenho aumentou, resultando num conjunto de medidas de desempenho
muito maior (Martins, 1998).
Desta forma, fica um tanto quanto difícil manipular dados históricos sobre desempenho para
identificação de padrões de relacionamento sem lançar mão de conceitos, técnicas e
ferramentas da tecnologia de informação (KUENG et al., 20001). A tecnologia de informação
agrega um conjunto de tecnologias como hardware, software, telecomunicações, redes de
comunicação, workstation, robótica, os chips inteligentes, etc... que tornam possível o
funcionamento de um sistema de informação (LAUDON e LAUDON, 2002).
Um dos usos da tecnologia de informação é nos sistemas de apoio à decisão que evoluíram
bastante nas últimas décadas. Esses sistemas baseados em computador auxiliam o processo
decisório utilizando modelos e ferramentas analíticas para resolver problemas não
estruturados em uma organização (JUNIOR et al., 2000; LAUDON e LAUDON, 2002).
Os sistemas de apoio à decisão podem auxiliar o SMD de duas formas: a primeira é a
construção de uma base de dados, como uma data warehouse, contendo os dados de
desempenho que facilitam o uso de abordagens analíticas para a tomada de decisão; e a
segunda é o enriquecimento de uma rede de relacionamentos entre medidas de desempenho
pela realização de variadas atividades analíticas, onde se destaca a data mining. Essas
atividades analíticas são complicadas e complexas de serem realizadas ou percebidas pelo ser
humano sem requerer um certo grau de automação (KUENG et al., 2001).
3.
Data Mining
A data mining explora bases de dados históricas para obter padrões e relações existentes
nesses dados com o propósito de auxiliar a tomada de decisão (CABENA et al.,1997;
TANLER, 1997; LINDEN, 2001; LAUDON e LAUDON, 2002). Geralmente, ela é aplicada
ENEGEP 2003
ABEPRO
3
XXIII Encontro Nac. de Eng. de Produção - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003
numa base de dados, denominada data warehouse ou data mart, que é uma coleção de dados
provenientes de múltiplas fontes de dados internos e externos, permitindo o uso de
ferramentas analíticas para consultas estruturadas e ad-hoc, relatórios analíticos e suporte a
decisão (Hardinjer e Inmon apud Costa et al., 2000). A base de dados pode ser centralizada ou
descentralizadas em data marts presentes em áreas ou grupos de uma organização
(GARDNER, 1998). A data warehouse, dentro do contexto organizacional, pode auxiliar a
data mining da seguinte forma, como ilustra a Figura 1:
Missão
Objetivos do
Negócio
Empresa
Informação
Sistema de
Informação
Gerencial
Data
Warehouse
Define
Fatores Críticos
de Sucesso
Medidas
Data Mart.
Define
Técnicas de Data
Mining
Informação
Bases de
Dados
Transacionais
Outras
Bases de
Dados
Dados
Estratégia dos
Negócios
Sistema de
Produção
Fonte: (Desenvolvido pelos autores)
Figura 1. Data Warehouse no contexto organizacional
A data warehouse pertence ao sistema de informação gerencial da empresa que é responsável
pela transformação dos dados em informação útil para verificar se a estratégia de negócios
está gerando os efeitos desejados na empresa.
Um projeto de data mining pode ser realizado a partir de três possíveis métodos: o primeiro é
o top-down, no qual são sugeridas hipóteses a serem validadas, caso não sejam é feita uma
revisão e o lançamento de uma nova hipótese. O segundo método é o bottom-up, no qual os
dados são analisados e extraídos padrões, duas vertentes surgem desse método que é o
bottom-up supervisionado em que os tomadores de decisão têm uma idéia do que estão
procurando e o bottom-up não-supervisionado em que os tomadores de decisão não têm idéia
do que estão procurando. Existe um método híbrido, que combina os dois métodos
apresentados, cuja análise dos dados e descoberta de padrões pode gerar hipóteses para serem
validadas em um projeto de data mining (THURAISINGHAM, 1999).
Um projeto de data mining apresenta diversas etapas de desenvolvimento, como ilustra a
Figura 2. Convém destacar algo pouco mencionado em trabalhos acadêmicos, a necessidade
da escolha das operações analíticas de data mining servindo como direcionador para análise
dos resultados. Elas são baseadas na definição do problema, e na seleção e processamento dos
dados:
ENEGEP 2003
ABEPRO
4
XXIII Encontro Nac. de Eng. de Produção - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003
Problem
Definition
Acquisition
of
Background
Knowledge
Selection
of data
Pré processing of
data
Choosing of
the Adequate
Data Mining
Operation
Analysis and
Interpretation
Reporting
and Use
time
Fonte: (Adaptado de Feelders et al., 2000)
Figura 2. Estágios do Processo de Data Mining
Há três razões para desenvolver um projeto de data mining: a) visualização dos dados
(qualificar e organizar os dados para melhor visualizá-los e também encontrar novas formas
de visualizar); b) descoberta de novos conhecimentos (busca explicar relacionamentos
ocultos, padrões e correlações entre diferentes dados existentes); e c) maior precisão dos
dados (obter dados mais consistentes) (FILHO E SHIMIZU, 2002).
Várias operações podem ser usadas no projeto de data mining, desde apenas uma até várias
delas utilizadas (Cabena et al., 1997; Thuraisingham, 1999). O Quadro 2 apresenta as
principais operações em um projeto de data mining:
Operações
Modelos Preditivos
Agrupamentos em
base de dados
Análise de
Associações
Detecção de desvios
Definição
Predizer comportamentos ou resultados utilizando
dados históricos e técnicas de encadeamento lógico
como redes neurais, árvore de decisão e métodos de
regressão.
Agrupa os dados em termos das características
desejadas pelos decisores.
Buscar padrões de relacionamentos entre o fator
desejado pelos decisores e outros fatores pertencentes
a base de dados construindo regras e condições para
se obter o relacionamento.
Busca desvios ou falhas em populações de dados.
Técnicas Utilizadas
Classificação e Predição de valor
Agrupamento via redes neurais e
separação demográfica
Descoberta de associação,
descoberta de padrões seqüenciais
e descoberta de seqüências
similares no tempo.
Estatística e visualização gráfica
Fonte: (Cabena et al., 1997)
Quadro 2. Possíveis operações em um projeto de data mining
4.
O uso da data mining na medição de desempenho
Para iniciar a discussão são apresentadas, no Quadro, 3 às técnicas de data mining e as
possíveis aplicações na medição de desempenho. Uma análise desse quadro pode-se notar que
a modelagem preditiva, que contém as técnicas de classificação e predição de valor, se aplica
na medição de desempenho no estabelecimento do posicionamento de cada medida de
desempenho no sistema de gestão da empresa e na predição da finalidade e do impacto gerado
por cada medida e desempenho.
O agrupamento de base de dados, que pode ser feita via rede neural ou demográfica, visa
organizar os dados de desempenho proveniente de uma base de dados. A organização dos
dados pretende facilitar e otimizar a análise perante o problema estabelecido no projeto de
data mining. Geralmente, essa operação de data mining é acompanhada de outras operações.
A análise de associações, como as associações simples, seqüenciais ou similares no tempo,
visam estabelecer relacionamentos entre medidas de desempenho com o estabelecimento de
uma regra que dita essa relação. Os relacionamentos entre as medidas podem ocorrer no
mesmo ou em diferentes períodos, ou até mesmo com as mesmas medidas de desempenho
atendendo a produtos ou processos diferentes.
ENEGEP 2003
ABEPRO
5
XXIII Encontro Nac. de Eng. de Produção - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003
Técnicas
Classificação
Definição
Consiste em determinar uma função ou
critério que classifica um registro de dados em
uma dentre diversas classes predefinidas
Predição de valor
Buscam predizer valores usando uma série de
valores já existentes.
Agrupamento via
redes neurais
Agrupamentos de inputs são apresentados e
outputs passam a competir com outros até
encontrar o mais adequado que torna à
ligação mais próxima do input apresentado
por meio das conexões com os respectivos
pesos.
Construir segmentos comparando cada
registro de dados com todos os segmentos
criados e depois adicioná-los a um deles ou
criar um novo segmento caso não encontre
compatibilidade.
Têm o propósito de encontrar registros de
dados que implicam na presença de outros
registros da mesma transação.
Detecta padrões entre registros de dados
relacionado com um conjunto de outros
registros em transações diferentes de uma
base de dados em um dado período de tempo
Encontra todas as ocorrências, similares
ocorrências ou seqüências similares para uma
seqüência alvo com dados em série temporal.
Detecta a presença de dados estranhos ou
inválidos e os possíveis vieses nos dados que
podem inviabilizar a mineração de dados.
Possibilita o usuário obter uma compreensão
melhor e mais intuitiva dos dados e resultados
apresentados.
Separação
Demográfica
Descoberta de
associação
Descoberta de
padrões
seqüenciais
Descoberta de
seqüências
similares no tempo
Estatística
Visualização
Aplicações na medição de desempenho
Separação das medidas de resultado (lagging) e
direcionadoras do resultado (leading) utilizando
algum critério como tempo de espera da
resposta das medidas.
Predizer uma medida de desempenho a partir
de outras medidas relacionadas utilizando algum
método de regressão.
Rearranjo de dados numéricos de desempenho
de uma data mart visando otimizar os
relacionamentos entre as medidas de entrada,
processo e saída.
Agregação ou desagregação de dados de
desempenho em classes baseadas em um
critério visando atender alguma necessidade
estratégica da companhia.
Determinação de relacionamentos baseado em
regras entre medidas de desempenhos em um
mesmo evento.
Determinação de relacionamentos baseado em
regras entre medidas de desempenhos em
eventos seqüenciais, ou seja, eventos ocorridos
em tempos diferentes.
Análise de valores de variáveis de desempenho
em um período visando à descoberta de
relacionamentos entre as variáveis.
Útil na estimação da probabilidade de um
relacionamento de causa e efeito ocorrer entre
as medidas de desempenho.
Apresentação dos resultados em formato
gráfico, matriz ou tabela facilitando a análise de
um maior número de variáveis de desempenho.
Fonte: (Cabena et al., 1997; Bispo, 1998; Felipe, 2000)
Quadro 3. As técnicas de data mining e as aplicações na medição de desempenho.
A detecção de desvios, com as técnicas estatísticas e de visualização, auxilia na determinação
de probabilidades de um relacionamento entre medidas de desempenho, como também
detectar pequenas flutuações nos dados de desempenho que podem indicar algum desvio ou
vieses nos dados. Essa operação pode servir de apoio a outras operações como modelagem
preditiva e análise de associações.
Cada operação de data mining apresenta ferramentas (softwares, modelos etc.) que são
utilizadas na realização da operação. O Quadro 4 apresenta as possíveis ferramentas utilizadas
para cada operação.
ENEGEP 2003
ABEPRO
6
XXIII Encontro Nac. de Eng. de Produção - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003
Operações
Modelagem Preditiva
Agrupamento de base de dados
Principais Ferramentas
Classificação: Online Analytical Processing (OLAP), árvore de decisão ou rede
neural.
Predição de valor: regressão linear, não linear e múltipla.
Via rede neural: método Kohonen.
Separação demográfica: Condorset
Análise de Associações
Detecção de desvios
Market Basket Analysis, Inductive Logic Programming.
Estatística: Sumarização estatística dos dados.
Visualização: Uso de softwares estatístico, planilhas eletrônicas ou OLAP.
Fonte: (Cabena et al., 1997; Thuraisingham, 1999; Linden, 2001)
Quadro 4. Principais Ferramentas Utilizadas nas Operações de Data Mining
5.
Considerações Finais
Pode-se verificar que o uso da abordagem de data mining é útil para a medição de
desempenho. Dentre as três razões apresentadas por Filho e Shimizu (2002) para a
contribuição da data mining na medição de desempenho pode-se destacar:
•
visualização de dados: definição de um melhor posicionamento das medidas de
desempenho frente ao sistema e melhor agrupamento dos dados de desempenho
seguindo um critério estratégico;
• descoberta de novos conhecimentos: estabelecer padrões de relacionamentos de
medidas de desempenho; e
• dados mais consistentes: detectar possíveis desvios na população que contém os
dados de desempenho.
Porém, para ser possível que um projeto de data mining realize essas atividades, deve-se
conter as seguintes premissas (Feelders, 2000):
• uma base de dados de desempenho na forma de uma data warehouse ou data mart,
pois facilita a obtenção de dados para a análise;
• um conjunto de expertise que sejam especialistas nas operações, ferramentas e
técnicas de data mining, especialistas na interpretação dos dados e especialistas na
interpretação dos resultados; e
• um membro da organização profundo conhecedor das atividades da empresa e do
problema que ela enfrenta para auxiliar a equipe de expertise.
Tendo essas premissas, um projeto de data mining pode ser aplicado na área de medição de
desempenho desde que a gestão da organização tenha claramente formulado qual o problema
ou desafio que precisa superar.
6.
Referências Bibliográficas
BISPO, C.A.F. (1998) - Uma análise da nova geração de sistemas de apoio à decisão. In:____ Data Mining.
Dissertação (Mestrado). Escola de Engenharia de São Carlos, Universidade de São Paulo, São Carlos.
CABENA, P.; HADJINIAN, P.; STADLER, R.; ZANASI, A. (1997) - Discovering Data Mining: From Concept
to Implementation. In: ___. Face to Face with the Algorithms. New Jersey: Prentice Hall PTR, pp 61-88.
COSTA, L.C.; KLOSTER, N.J.A; GRAEML,K.S.; MAZIA, R.F. (2000) - Data mining ... ou procurar uma
pepita de ouro em uma poça de lama. In: ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇÃO, 10,
2000 São Paulo. Anais... São Paulo: ABEPRO/USP, 8p.
ECCLES, R.G. (1991) - The performance measurement manifesto. Harvard Business Review, vol.69, n.1,
pp.131-137.
ENEGEP 2003
ABEPRO
1
XXIII Encontro Nac. de Eng. de Produção - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003
FEELDERS, A.; DANIELS, H.; HOLSHEIMER, M. (2000) - Methodological and practical aspects of data
mining. Information & Management, p.271-281, vol. 37.
FELIPE, Joaquim César. (2000) - Extração de conhecimento sobre metadados de aplicações multimídia em um
ambiente multidimensional orientado a objetos. Dissertação (Mestrado) – Programa de Pós-Graduação em
Ciência da Computação, Universidade Federal de São Carlos, São Carlos.
FILHO, J.A.F.; SHIMIZU,T. (2002) - Data mining: Conceitos Básicos e Aplicações. Boletim Técnico da Escola
Politécnica da USP – Departamento de Engenharia de Produção, São Paulo, BT/PRO/104, 11p.
GARDNER, S.R. (1998) - Building the Data Warehouse. Communications of the ACM. Vol. 41, N°9, pp. 52-60.
JÚNIOR, O.G.F.; COSTA, E.B.; COSTA, M.P.S. (2000) - Um Sistema de Informação Gerencial para uma
Companhia de Bebidas baseado na Tecnologia Data Warehouse. In: ENCONTRO NACIONAL DE
ENGENHARIA DE PRODUÇÃO, 10., 2000, São Paulo. Anais... São Paulo: ABEPRO/USP, 8p.
KAPLAN, R. S.; NORTON, D. P. (1996) - Linking the balanced scorecard to strategy. California Management
Review, v. 39, n. 1, pp. 53- 79.
KAYDOS, W. (1991) - Measuring, Managing and Maximizing Performance, Portland, Productivity Press.
KENNERLEY, M.; NEELY, A. (2002) - A framework of the factors affecting the evolution of performance
measurement systems. International Journal of Operations & Production Management, Vol. 22, N. 11, pp.
1222-1245.
KUENG, P.; MEIER, A.; WETTSTEIN, T. (2000) - Computer-based Performance Measurement in SMEs: Is
there any option? Internal Working Paper No. 00-11.
KUENG, P.; MEIER, A.; WETTSTEIN, T. (2001) - Performance measurement systems must be engineered.
Communications of AIS, vol.7, article 3.
LAUDON, K. C & LAUDON, J. P. (2002) - Management Information Systems: Managing the Digital Firm,
Prentice Hall, 7th edition, Upper Saddle River, New Jersey.
LEBAS, M. J. (1995) - Performance measurement and performance management. International Journal
Production Economics, v.41, n.23-25, pp.23-35.
LINDEN, A. (2001) - Advanced Mining for Information and Content. In: GARTNER SYMPOSIUM ITXPO
2001, 2001, Orlando, Florida. Paper…. Orlando, Florida, pp.1-18,.
MARTINS, R.A. (1998) - Sistema de medição de desempenho: um modelo para estruturação do uso. Tese
(Doutorado).Universidade de São Paulo, Escola Politécnica, São Paulo.
NEELY, A.; GREGORY, M.; PLATTS, K. (1995) – Performance Measurement System Design – A Literature
Review and Research Agenda International Journal of Operations & Production Management – Vol. 15, N°4,
pp. 80–116.
NEELY, A. (1998) - Measuring business performance. London: The Economist.
NEELY, A. (1999) - The performance measurement revolution: Why now and What Next? International
Journal of Operations & Production Management – Vol. 19, N°2, pp. 205–228.
SINK, D.S. (1991) - The role of measurement in achieving world class quality and productivity management.
Industrial Engineering, v.21, n.6, pp.23-28.
TANLER, R. (1997) - The intranet data warehouse. New York: John Wiley & Sons, Inc..
THURAISINGHAM, B. (1999) - Data Mining: Technologies, Techniques, Tools, and Trends. CRC Press LLC.
ENEGEP 2003
ABEPRO
2