Administração de Sistemas de Informação Datawarehouse Business Intelligence Prof. Afranio Lamy Spolador Jr. Business Intelligence  Definições “Termo genérico introduzido por Howard Dresner do Gartner Group em 1989, Business Intelligence é um conjunto de conceitos e metodologias que apoia a tomada de decisões em negócios.” [Computeworld Março/1999] Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Business Intelligence  O que é BI ? “[...] Apesar da semelhança com data warehouse, ele apresenta variações. [...]  é um processo de coleta, análise e distribuição de dados para melhorar a decisão nos negócios;  o objetivo é levar a informação para um número bem maior de usuários dentro da corporação;  As ferramentas de software precisam endereçar problemas como escalabilidade, facilidade de uso e de gerenciamento;  os bancos de dados são a infra-estrutura básica de qualquer sistema de business intelligence. Os mais comuns são os BDs multidimensionais, que permitem as análises por meio de cubos.” [Computeworld Março/1999] Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Business Intelligence  A inteligência é a alma do negócio “Os sistemas de business intelligence vão levar sua empresa para o século XXI e transformar a maneira como se faz negócios.” [Computeworld Março/1999] Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. O mercado tem confundido: Data Warehouse (DW) com Business Intelligence (BI) Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Uma Definição “Um data warehouse é uma coleção de dados orientados a assuntos, integrados, variáveis no tempo e não voláteis para suporte ao processo gerencial de tomada de decisão”. [Inmon & Hackathorn] Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Mais Definições “Um data warehouse [...] é um banco de dados que armazena dados sobre as operações da empresa (vendas, compras, etc.) extraídos de uma fonte única ou múltipla, e transforma-os em informações úteis, oferecendo um enfoque histórico, para permitir um suporte efetivo à decisão.” [Adelize Generini de Oliveira] Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Mais Definições “Data Warehouse [...] é construído e implementado de uma maneira evolucionária passo a passo, organizando e armazenando os dados necessários para a análise informacional e o processamento analítico sob uma perspectiva de longo prazo”. [Inmon & Hackathorn] Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Questões  O DW busca atender a organização com INFORMAÇÕES. Como conseguir isso ?  Que dados devem ser armazenados no DW ?  Que assuntos devem ser organizados no DW ?  Quem pode dar a chave para a construção ?  Quem na organização tem a visão necessária ?  Existe um ponto de partida ? Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Uma direção a partir de premissas existentes:  A organização possui um conjunto de processos operacionais necessários, indispensáveis e que são a própria razão de ser da Empresa. Esses processos se utilizam e geram DADOS.  Os sistemas que atendem a linha operacional possuem completeza e satisfazem.  Como transformar esses resultados operacionais em INFORMAÇÕES ? suficiente ? Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Isso é Business Intelligence / Data Warehouse • O Ambiente da Decisão - EXTERNO VARIÁVEIS SOCIAIS COMPETIDORES INST. FIN. VARIÁVEIS TECNOLÓGICAS CLIENTES EMPREGADOS FORN ORGANIZAÇÃO SIND GOV MÍDIA VARIÁVEIS ECONÔMICAS ACIONISTAS Grupos de INTERESSE PARCERIAS Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. VARIÁVEIS POLÍTICAS Business Intelligence / Data Warehouse • O Ambiente da Decisão - INTERNO NIVEL ESTRATÉGICO NIVEL TÁTICO NIVEL OPERACIONAL Sistemas de Informações Executivas Sistemas de apoio à decisão Sistemas Transacionais Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Objetivo do Data Warehouse “ Não basta ter dados. É preciso interpretá-los e com isso aprender mais sobre os clientes, a própria empresa e o mercado. Ou seja, promover o encontro entre a tecnologia e os negócios”. [Carvalho 1997] Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Conhecer mais a organização para .... “ A visão de futuro é um ingrediente fundamental na modelagem estratégica. [...] É a eterna busca por tudo aquilo que ainda não existe, mas que certamente existirá; do que ainda não é necessário, mas será. É um misto de filosofia e receio do desconhecido, um recheio de ameaças e oportunidades que nos lança à busca de antecipações dos próximos movimentos da história.” [Furlan 1997] Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. e-Commerce + CRM + ERP + BI Loja Virtual Call Center Loja Real Vendedores CRM: integ+dbm+wf Cliente F i n a C n B a c a r e n t i c õ r o e a s s s BI: dw,eis ERP: ve,co, fi,lo,co, ... Operador Datawarehouse e Business Intelligence Indústrias Logístico Prof. Afranio Lamy Spolador Jr. Data Warehouse  Como iniciar a construção “ Não é preciso começar grande e com investimentos de milhões de dólares. O importante é simplesmente começar. A própria mudança de comportamento provocada pelo primeiro passo irá influenciar os restantes”. [Computerworld Julho/1996] Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Uma direção a partir de premissas existentes:  Estamos falando de INFORMAÇÕES para atender os níveis TÁTICO e ESTRATÉGICO.  Portanto, os sistemas que atendem a linha operacional estão atendidos.  Como transformar esses resultados operacionais em INFORMAÇÕES ? Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Como Iniciar a Construcão ?  Opinião da Consultoria  Opinião de Fornecedores  O que a experiência mostra  Temos o que a organização espera como resultado ?  Existe comprometimento de toda a estrutura da empresa ?  Sabemos como acompanhar o ambiente externo  Sabemos como acompanhar o ambiente interno  Definir foco  Patrocinador forte e influente  Equipe de desenvolvimento multi-disciplinar Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Como Iniciar a Construção ?  O Planejamento Estratégico da Informação é uma alternativa da Engenharia da Informação  Existem outras alternativas, sugeridas por fornecedores e consultores  Um bom Plano de Trabalho é o primeiro passo.  Sua empresa vai necessitar de consultoria ?  Vai adquirir equipamentos de que porte ?  Já dimensionou a aplicação ?  Vai adquirir gerenciador de BDR ?  Vai adquirir Software para manuseio do DW ? Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Como Iniciar a Construcão ? “[Na modelagem estratégica] Inicialmente, estabelecemos a missão da organização e em seguida relacionamos os respectivos objetivos executivos, estratégicos e táticos de sustentação. Posteriormente, determinamos os fatores chaves de sucesso que estarão impactando de forma decisiva os objetivos declarados, bem como as estratégias para a concretização daqueles fatores chaves de sucesso. Por fim, traçamos os planos de ação para levar a termo a implementação das estratégias estabelecidas.” [Furlan 1997] Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Como Iniciar a Construcão ? “No modelo funcional não há pessoas, mas recursos; não há hierarquia, mas decomposição funcional. Na verdade, o modelo funcional existe antes das pessoas quando a empresa é estabelecida, agregamos recursos para que seja possível concretizar sua missão. Os recursos, por sua vez são gerenciados pelas funções de negócio.” [Furlan 1997] Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Sugestões  “identificar as necessidades dos usuários e o modelo de dados que o data warehouse deverá conter;  identificar as fontes de dados, em meio aos vários repositórios disponíveis no ambiente;  definir que tipo de transformação o dado deverá sofrer para poder se integrar ao data warehouse;  criação do metadado, que identifica a fonte do dado, a transformação pela qual o dado irá passar, e que define o modelo de dado para o data warehouse;  criação e “popularização” do data warehouse, mediante acesso aos dados das várias fontes de informação.” [Marcelo Merchan - Computerworld] Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Mais sugestões “Povoar um data warehouse envolve processos como:  a extração de dados do sistema fonte;  o transporte dos dados para o sistema destino;  a transformação dos dados para melhor qualidade e leitura;  a integração de informação de diferentes fontes;  a carga da base de dados. Mesmo no caso de DWs pequenos, é uma tarefa complexa. As ferramentas que ajudam na integração e automatização desses processos são, por isto, cada vez mais importantes, podendo reduzir os custos e facilitar a gerência do projeto.” [Alda Campos - Computerworld] Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Mais sugestões  “estabeleça suas metas corporativas; estabeleça sua visão corporativa;  relacione as áreas de negócio, processos e unidades em sua organização.  destaque aqueles que estiverem MAIS sujeitos à criatividade e individualidade e MENOS passíveis de automatização;  priorize estas áreas de negócio em termos de impacto positivo desejado e contribuição para metas e visões corporativas;  estabeleça a sua principal área de negócio em prioridade;  liste os tópicos e assuntos-chave que melhor representem estas áreas de negócio (produto, cliente, qualidade, vendas, mercado, recursos humanos, etc.) Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse “O data warehouse é indispensável para o gerenciamento dos negócios, visto que esta estratégia dá suporte à criatividade e individualidade dos tomadores de decisão em toda a empresa. [ ... ] Percorrendo estas etapas você selecionou as áreas de negócio, tópicos e os critérios de comparação para seu projeto inicial de data warehouse. Estas informações também serão de utilidade para obter compromisso interno em sua organização para o projeto de data warehouse.” [SAS Institute Inc] Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse - Estrutura •A Reta Inclinada DATA MINING DATA MINING TÁTICO ESTRATÉGICO EIS DATA DESTILLERS DATA DESTILLERS APLICAÇÕES OPERACIONAL Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. DATA MART Data Warehouse  Alguns conceitos  Data Mart: obedece aos mesmos conceitos do data warehouse, mas tem um conteúdo direcionado para um determinado objetivo que pode ser por assunto ou departamental. Se utiliza das mesmas ferramentas e manipula bancos de dados menores. Exemplo:  Vendas de um produto em uma região  Os 500 maiores Clientes da empresa  Informações contábeis Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Alguns conceitos  Data Mining: técnicas que buscam dar significado aos dados do DW e Data Mart. Mineração através de pesquisas pré-definidas, elaboradas sob medida às necessidades conhecidas. A Mineração ad-hoc para consultas não definidas e não conhecidas previamente, usada para análises e simulações. Exemplo:  Análise do perfil do consumidor e cliente  Avaliação de ações de concorrentes  Análise das vendas por região, local, produto, vendedor  Desempenho equipes de venda - sazonalidade Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Alguns conceitos  Data Destillers: características similares ao data mining mas no sentido inverso, utiliza-se de extrações resumidas e consolidadas de dados do negócio para subsidiar de forma sucinta eficaz a tomada de decisões. Exemplo:  Que indicador será afetado por uma ação operacional  Quais resultados serão modificados por uma mudança em ambiente operacional Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Alguns conceitos  Data Bridge: estrutura para através de programas realizar filtragens para transformar dados do ambiente operacional para o ambiente DW/BI. Exemplo:  Alguns dados operacionais podem nunca sair do ambiente operacional, chegando ao ambiente DW/BI através de cálculos, combinações e deduções. Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Alguns conceitos  Operational Data Storage: Base de dados transacional que suporta pesquisas para BI. Possibilita a sumarização imediata a partir da ocorrência operacional do processo gerador. Permite a atualidade dos dados e seu uso imediato no ambiente de decisões em função da sumarização dinâmica e sua destilação imediata por assunto. Exemplo:  Venda de um produto reflete na venda diária e mensal imediatamente. Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Alguns conceitos  Aplicação: onde está desenvolvido o conjunto de pesquisas ao data warehouse - linguagem amigável  Engine: software principal, onde é realizado todo o processo de coordenação das pesquisas e montagem dos algoritmos em tempo de execução.  Metadados: armazenamento do dicionário de dados que associa o data warehouse físico com as visões dos aplicativos e que são manipulados pelo Engine Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Arquiteturas  Ferramentas para manuseio do DW  Vários Fornecedores  Vários Tipos de Soluções para Manuseio do DW  Soluções que possibilitam navegação na estrutura de dados  Soluções para manuseio local ou remota  Soluções integradas ao Office  Soluções na WEB - camadas da arquitetura Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Arquiteturas - Ferramentas para carga do DW Carga Tradicional – programas desenvolvidos Modelagem da Base de Dados DW Definição e Construção dos Programas de Carga Rotina operacional para Carga  Dificuldades: tempo, know-how, qualidade dos dados.  Ferramenta ETL (Extraction-Transformation-Loading) – Parte dos arquivos do legado e associa ao modelo DW – Constrói a carga – Constrói a transformação dos dados – Constrói a rotina para carga e eschedulagem – Dificuldades: reduzidas drásticamente Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Arquiteturas  Camadas  Solução com UMA CAMADA - Cliente Gordo Na estação CLIENTE está o data warehouse, os Metadados, o Engine, cubos e a aplicação.  Vantagens:   Simplicidade na arquitetura Desvantagens:  Performance extremamente prejudicada  Somente para volume de dados muito reduzido Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Arquiteturas  Camadas  Solução com DUAS CAMADAS  Estação Cliente:   Servidor Remoto:   Aplicativo + Metadados Aplicação + Cubos Data Warehouse + Engine + Metadados Relacional + Gerenciador Banco de Dados Melhora um pouco a performance em relação a uma camada. Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Arquiteturas  Camadas  Solução com TRÊS CAMADAS  Estação Cliente:   Servidor Remoto Motor:   Somente Aplicação Engine + Metadados Aplicação + Cubos Servidor Remoto Armazenamento:  Data Warehouse + Metadados Relacional + Gerenciador Banco de Dados Relacional Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Arquiteturas  Camadas  Solução com QUATRO CAMADAS - Cliente Magro  Estação Cliente:   Servidor Remoto WEB   Servidor WEB + Interface WEB da Ferramenta Servidor Remoto Motor:   Somente Browser Engine + Metadados Aplicação + Cubos Servidor Remoto Armazenamento:  Data Warehouse + Metadados Relacional + Gerenciador Banco de Dados Relacional Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Arquiteturas  Camadas  Solução com QUATRO CAMADAS - Cliente Magro   Vantagens:  Instalação no Cliente: Somente o Browser  Simplificação no suporte - maior performance  Estação Cliente não precisa ser muito robusta Desvantagens:  Investimento maior em servidores  Necessita boa administração dos recursos Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Arquiteturas  Outra visão de camadas:  Camada Externa de Banco de Dados - BD Operacional  Camada de Acesso a Informação - Ferramenta  Camada de Acesso aos Dados - SQL  Camada do Diretório de Dados - Metadados  Camada do Gerenciamento do Processo  Camada de Mensagens da Aplicação - Comunicação  Camada Física do Data Warehouse - BDR  Camada de Replicação de Dados - Cubos / Agregações [Adelize Generini de Oliveira] Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Ferramentas de Manuseio- Fornecedor / Produto  Business Object / Business Object  Brio Technology / Brio Query  Choice / O3  Cognos / Impromptu, Power Play e Scenario  DSS MicroStrategy / MicroStrategy  IQ Software / IQ  Execplan / FastBI Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Ferramentas de Manuseio- Fornecedor / Produto  Extent Pilot / Pilot  Hyperion / Essbase, Pillar, Enterprise  IBM / Intelligent Miner, DB.2 OLAP Server  IBM / DataJoiner, DataPropagator, ITI  IBM / DataRefresh, VisualWarehouse  Informix / InfoMover, Advanced Decision Support, Extended Parallel Option Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Ferramentas de Manuseio- Fornecedor / Produto  Microsoft / SQL Server 2000  NCR / Teradata, Teracube, CMS  Oracle / ExpressServer, 11i  Platinum / DecisonBase, InfoBeacon, Forest and Tree, Perspectivo for Marketing Analysing  Prism Solution - DB-Open / Prism Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Ferramentas de Manuseio - Fornecedor / Produto  SAS Institute / MDDB Server, SAS EIS e AF, Insight, Enterprise Miner, Enterprise Report  Seagate Software / Seagate Info, Holos, Crystal Reports, Worksheet  Sybase / Warehouse Studio, PowerDimensions Fonte: ComputerWorld 8 de Marco de 1999 Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Data Warehouse  Ferramentas de ETL - Fornecedor / Produto/Site  IBM / ETI / www.eti.com  INFORMATICA / PowerCenter / www.informatica.com  ASCENTIAL / DataStage / www.ascentialsoftware.com  CA / Decision Base Transformer / www.ca.com  Sagent / www.sagent.com  Choose / Amadea / www.choose.com.br Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr. Business Intelligence / Data Warehouse “É indiscutível o benefício decorrente do conhecimento e uso da informação. No entanto, o sucesso na implementação do Business Information Warehouse depende do quanto a empresa adota estas propostas e as considera estratégicas para a sobrevivência do seu negócio.” [ComputerWorld Marco/1999 - Johnson & Johnson] Datawarehouse e Business Intelligence Prof. Afranio Lamy Spolador Jr.