Por favor ajustem seus celulares
para o modo silencioso.
http://www.stepfordwives.com/html/wallpapers/wp_7_1024.html
Data Warehouse (DW)
Rogério Ribeiro Moura
Agenda












Mini-Curriculum
Em um Futuro Próximo...
Definição DW
Visão Global DW
Sistemas Transacionais x Analíticos
Modelo Star-Schema
Cubo
Fluxo de Informações
Data Mining
Business Information Warehouse (BW)
Visão Global da Metodologia ASAP
Bibliografia
Mini-Curriculum
ESCOLARIDADE:
Pós-Graduação (Lato - Sensu):
Fundação Getulio Vargas - FGV (2001 - 2003)
- MBA em Tecnologia da Informação Aplicada à Gestão Estratégica de
Negócios
Pontifícia Universidade Católica - PUC-Rio (1998 - 1999)
- Análise, Projeto e Gerência de Sistemas
Graduação:
Centro Universitário Carioca (2004)
- Bacharel em Ciência da Computação
Centro Universitário Carioca (1994 - 1997)
- Tecnólogo em Processamento de Dados
EXPERIÊNCIA
PROFISSIONAl:
PETROBRAS – Petróleo Brasileiro S/A
Analista de Sistemas – 4 anos e 5 meses
EMBRATEL – CPQD (Centro de Pesquisa e Desenvolvimento em
Telecomunicações).
Analista de Sistemas – 1 ano e 4 meses
Medusa Sistema de Automação Industrial
Analista de Sistemas Trainee – 8 meses
Task Sistemas de Computação Ltda.
Analista de Sistemas Trainee – 1 ano
Sobremetal Recuperação de Metais Ltda.
Estagiário de Informática - 1 ano
Em um Futuro Próximo...
Obrigado!
Source: The Computer World, July 2000
Em um Futuro Próximo...
Mas antes vou levantar
as doações que ele fez aos
Vou
enviar
ao
seu
Oba!
O
banqueiro
deve
estar
de
Vou verificar o
outros e compara-las com as
contador
o
formulário
de
histórico de
bom humor. A doação foi
que estou recebendo.
dedução
de
impostos.
doações do
bem maior do que a dos últimos
banqueiro …
Ele está doando mais aos
meses.
pedintes da próxima
esquina !!!!!!!!!
Mas Por Quê ?
O que eu estou fazendo
errado?
Serão as minhas roupas?
Não estou sendo gentil o
suficiente?
Bussiness Intelligence / Data Warehousing –
Uma grande mudança cultural com requisitos técnicos
extremamente complexos.
Meu serviço de
Inteligência não está me
enviando as
informações que eu
necessito, no tempo
correto, para maximizar
as doações recebidas.
Definição DW
Data Warehouse (DW) é um banco de dados que
armazena informações corporativas de diferentes
fontes de dados,estruturado para realizar
consultas analíticas complexas, adequado à
análise de negócios e ao apoio à tomada de
decisões gerenciais.
“Conjunto de dados orientados
para o assunto, integrado, não
volátil, variante no tempo, de apoio
a decisões gerenciais.”
Bill Inmon
Visão Global DW
Data Mart
Data Warehouse
Data Mart
Data Mart
Sistemas Operativos
(R3 e Legados)
Estruturado por objetivos
(áreas de negócio da
companhia)
Visão Bill Inmon
Corporate Information Factory
Data Marts
SD
MM
CO
Aplicações Analíticas
(DSS applications)
crm
SEM
bic bps bcs cpm srm
PSA
(persistent Staging
Engine
staging
area)
(ETL)
Data Mining
BW 2.1C SP9
(data mining)
Data Warehouse
R/3
(ERP)
scm
ODS
Visão Bill Inmon
Data Warehouse para Inmon é apenas um
“tabelão” uma flat-table, que pode ser
implementada utilizando uma modelagem
genérica. A modelagem deste Data Warehouse
não tem como objetivo atender à análise, mas
somente a retenção das informações para
serem extraídas pelos Data Marts, onde a
análise ocorre.
Visão Ralph Kimball
Visão Ralph Kimball
Data Warehouse para Kimball é toda a
arquitetura e não somente o “tabelão”.
Para Kimball, Data Warehouse é a união
dos Data Marts. O Data Warehouse é
modelado com o objetivo de atender à
análise multidimensional.
Sistemas Transacionais x Analíticos
OLTP
OLAP
(ERP)
(DW)
OnLine Transaction Processing
OnLine Analytical Processing










Foco: transacional
Dados detalhados
Dados correntes
Dados dinâmicos
Altamente normalizado para
performance
 Atualização/Inserção/Deleção
 1 mês a 1 ano de dados
Foco: análise
Dados sumarizados
Dados históricos
Dados fixos a nível temporal
Estruturado para pesquisa e
análise
 Orientado para consulta
 2 a 7 anos de dados
Sistemas Transacionais x Analíticos
MER - Modelagem Entidade /
Relacionamento
Modelagem Star-Schema
ID Tempo
Data
Ano/Mes
Ano Fiscal
ID Cliente
Nome
Região
Estado
•
•
•
Orientado para otimizar
Insert/Update/Delete
Informação espalhada
Vários caminhos para
obter a mesma
informação
ID Vendedor
Nome
Supervisor
Area
ID Tempo
ID Cliente
ID Empresa
ID Vendedor
ID Produto
Valor Liquido
Qtd. Liquida
Valor Bruto
Qtd. Bruta
ID Empresa
Nome
Grupo
Unid. Negoc.
ID Produto
Descrição
Grupo
Subgrupo
Modelo Star-Schema
Modelagem Star-Schema
• Conceitos:
– Dimensões:
definem o COMO
o usuário quer
analisar a
informação
ID Tempo
Data
Ano/Mes
Ano Fiscal
ID Cliente
Nome
Região
Estado
ID Vendedor
Nome
Supervisor
Area
ID Tempo
ID Cliente
ID Empresa
ID Vendedor
ID Produto
Valor Liquido
Qtd. Liquida
Valor Bruto
Qtd. Bruta
ID Empresa
Nome
Grupo
Unid. Negoc.
ID Produto
Descrição
Grupo
Subgrupo
Modelo Star-Schema
Modelagem Star-Schema
• Conceitos:
- Atributos: definem
de que modo as
dimensões podem
ser analisadas
ID Tempo
Data
Ano/Mes
Ano Fiscal
ID Cliente
Nome
Região
Estado
ID Vendedor
Nome
Supervisor
Area
ID Tempo
ID Cliente
ID Empresa
ID Vendedor
ID Produto
Valor Liquido
Qtd. Liquida
Valor Bruto
Qtd. Bruta
ID Empresa
Nome
Grupo
Unid. Negoc.
ID Produto
Descrição
Grupo
Subgrupo
Modelo Star-Schema
• Conceitos:
– Key Figures:
definem O QUÊ o
usuário quer
analisar
Modelagem Star-Schema
ID Tempo
Data
Ano/Mes
Ano Fiscal
ID Cliente
Nome
Região
Estado
ID Vendedor
Nome
Supervisor
Area
ID Tempo
ID Cliente
ID Empresa
ID Vendedor
ID Produto
Valor Liquido
Qtd. Liquida
Valor Bruto
Qtd. Bruta
ID Empresa
Nome
Grupo
Unid. Negoc.
ID Produto
Descrição
Grupo
Subgrupo
Cubo
Modelagem Star-Schema
• O cubo é virtualmente
produzido através da
modelagem StarSchema
ID Tempo
Data
Ano/Mes
Ano Fiscal
ID Cliente
Nome
Região
Estado
ID Vendedor
Nome
Supervisor
Area
ID Tempo
ID Cliente
ID Empresa
ID Vendedor
ID Produto
Valor Liquido
Qtd. Liquida
Valor Bruto
Qtd. Bruta
ID Empresa
Nome
Grupo
Unid. Negoc.
ID Produto
Descrição
Grupo
Subgrupo
Cubo
Tempo
1998
1999
2000
Produto X
Produto Y
Produto Z
Clientes
Cubo
Tempo
1998
1999
2000
Query:
Vendas do
Produto X
Cliente C
Produto Y
no ano 2000
Produto Z
Clientes
Cubo
Tempo
1998
1999
2000
Query:
Vendas do
Produto X
Cliente B
Produto Y
desde 1998
Produto Z
Clientes
Cubo
1998
1999
2000
Produto X
Tempo
Query:
Curva ABC de
Clientes do
produto Y
dos anos 2000
Produto Y
e 1998
Produto Z
Clientes
Cubo
Tempo
1998
1999
2000
Produto X
Query:
Vendas de toda
empresa desde
1998
Produto Y
Produto Z
Clientes
Fluxo de Informações
Ação
Processamento da
Transação
-----------------------------
OLTP
Extração
Análise
Transformação
Externo
OLAP
Infocubos
Definição Data Mining
É o processo de se descobrir conhecimento
embutido em um determinado banco de dados.
Na realidade data mining é um conjunto de técnicas
que envolvem métodos matemáticos, algoritmos e
heurísticas para descobrir padrões e regularidades
em grandes conjuntos de dados. Estas técnicas
permitem buscar em uma grande base de dados,
informações que, aparentemente, estão camufladas
ou escondidas, permitindo, com isso, agilidade nas
tomadas de decisões.
Business Information Warehouse (BW)
O BW é o software de data warehouse da
empresa SAP, cujo ambiente específico,
separado do ambiente transacional,
armazena informações que são estruturadas
para facilitar a consulta e análise, suportando
assim o processo decisório e a gestão da
empresa.
Estrutura SAP/R3
BW
Vendas e Distribuição
Finanças
Materiais, Equipamentos
e Serviços
SD
FI
MM
Gestão de
Produção
CO
PP
AM
SAP R/3
Base de Dados
Integrada
QM
Gestão da
Qualidade
PM
Recursos
Humanos
PS
WF
HR
Gestão de
Manutenção
Controladoria
Ativo Fixo
Gestão de
Projetos
IS
Workflow
Soluções
para Indústrias
Arquitetura do BW
Obtem dados de Sistemas R/3 e
não R/3.
BW
FI
Excel
CLIP
SD
BDEMQ
Web
Regras de
Transferência
Sistemas
Fonte
R/3
Sistemas
Externos
Obtem dados de Sistemas R/3 e
não R/3.
Arquitetura do BW
R/3 e Legados
Data Warehouse para
tomada de decisoes e
desenvolvimento de
novos negocios
Data Mart
estruturado por
objetivos
Relatorio / Analise
/ Descobrimento
Análise
生データ
生データ
生データ
Dados
Exceções
Data Warehouse
Data Mining
Estrutura de Acesso
Business Explorer
Intranet
Analyzer
shows ...
Microsoft Excel
Query View
OLAP server
OLAP
Processor
Query
Database
Sistemas
Fontes
Database
stores ...
InfoCube
Benefícios
 Padroniza ferramentas de acesso e representação de
informações corporativas
 Fácil uso, ponto único de acesso a todas as informações
corporativas
 Self-service, relatórios gerenciais e análises em todos os níveis
 Ambiente de alta performance alimentado por fontes de dados
heterogêneas
 Libera a carga sobre os sistemas transacionais
Visão Global da Metodologia ASAP
Implementar a solução de Business
Mover de final
um
Prover
Prover uma preparação
e um planejamento
inicial
Information
Warehouse baseado
nas uma verificação
Criar
o
Desenho
do
modelo
conceitual,
ambiente
de
da situação
de todos osprépara o projeto
SAP BW. Oslevantadas
passos nesta
fase anterior
necessidades
na fase
de
e modelo físico,
que se trata
produçãoInclui
para a
uma
inicial modelo
auxiliamlógico
na
identificação
e planejamento
Business
Blueprint.
Os objetivosprodutos
são a gerados.
de
uma
documentação
detalhada
dos
operação emdo
conclusão
das áreas de negócio
a serem final
consideradas,
implementação
do sistema,
o teste do treinamento
resultados
obtidos
durante
a
realização
dos
produção.
usuário
permitindo a compreensão
objetivos,
escopo
global e ados
liberação
do ambiente
para e o estabelecimento
Workshopsede
requerimentos
dos
usuários.
de um Help Desk interno.
prioridades.produção.
Evolução
Contínua
Preparação
do Projeto
Business
Blueprint
(Desenho)
Realização
Preparação
Final
Go Live &
Suporte
Início do
Projeto
Fim da
Fase 1
Revisão dos
Conceitos
Após
Desenho
Dados
Revisão
do
Desenho
Durante Ciclo de
Configuração
Durante
Preparação
Final
Revisão da
Configuração
Revisão de
Performance
Ciclo Típico de um Projeto
Contínua Evolução do Ambiente de Informação de Negócio
Ciclo de Implementação 3
Ciclo de Implementação 2
Ciclo de Implementação 1
5
1
2
3
4
Organização de um Projeto
Patrocinador Projeto BW
Comitê Executivo
Data Architect BW
Equipe BW
Coordenador Projeto
Comitê de Validação
Coordenador Tecnologia
Power Users
Sistema Fonte
Analistas funcionais
do OLTP
Suporte Técnico
Analistas Técnicos
do OLTP
Exemplo
Exemplo
Exemplo
Exemplo
Exemplo
Exemplo
Exemplo
Bibliografia
Livros
 The Data Warehouse Toolkit: The Complete Guide to
Dimensional Modeling, 2nd Edition – Ralph Kimball e Margy Ross
 Como Construir o Data Warehouse, Campus – Bill Inomn
 Oracle 8i Data Warehouse – Michel Corey
 Sistemas de Informação e as Decisões Gerenciais na era da Internet
– James O`Brain
Sites
 http://www.datawarehousing.org
 http://www.sap.com/
 Intelligent Enterprise Magazine - http://www.intelligententerprise.com
Perguntas
[email protected]
PERGUNTAS E COMENTÁRIOS
Perguntas
OBRIGADO!