Metolodogia de
Desenvolvimento
de
Data Warehouse
Metodologia de Desenvolvimento de DW
Introdução : Ambiente que cerca a Organização
Globalização
Competitividade
Parcerias
Crise do
Estado
Iniciativa
Privada
EMPRESA
Distribuição
De Renda
Conhecimento
Preservação
Ambiental
Foco em
Resultado
Metodologia de Desenvolvimento de DW
Por que desenvolver DW ??
Crença Popular ->
Testar a paciência do pessoal técnico ou Inteligência Empresarial
bem fundamentada ??
•
•
Tendências do Tecnólogo -> amor a tecnologia
Um segredo para o sucesso da Data Warehouse é começar
focalizando as informações que a empresa necessita para
prosperar e não tecnologia que vai ser utilizada.
Metodologia de Desenvolvimento de DW
Data WareHousing
•
A estratégia que reconhece a necessidade de armazenar estas
informações separadamente, em sistemas de informação e
consolidá-los, de forma a assistir diversos profissionais de
uma empresa na tomada de decisões de modo rápido e
eficaz.
•
Ela é ao mesmo tempo, uma área nova e um processo de
difícil condução devido as suas peculiaridades e a intrincada
cadeia de fatores que tem de ser integrados e gerenciados
para viabilizar o desenvolvimento de aplicações em suporte a
decisão.
•
Para melhor compreensão é necessário conhecer o conceito, a
arquitetura e as principais etapas para implementação de
uma solução Data Warehouse.
Metodologia de Desenvolvimento de DW
Definição de Data WareHouse
Uma plataforma que contém todos os dados da
organização, centralizados e organizados, de forma
que os usuários possam extrair relatórios analíticos
complexos, contendo informações gerenciais para
apoio à decisão.
Pela definição, Data Warehouse corresponde apenas
ao repositório que contém dados integrados.
Metodologia de Desenvolvimento de DW
Estrutura mínima de um Data WareHouse
Metodologia de Desenvolvimento de DW
Projeto de um Data WareHouse
• Um projeto de Data Warehouse compreende um
conjunto de tarefas destinadas à implementação de
cada componente.
• Existem diversas abordagens metodológicas que
definem uma seqüência de passos essenciais para a
realização destas tarefas.
Metodologia de Desenvolvimento de DW
Definição Metodologia
• Uma metodologia pode ser vista como um “livro de receitas” para
desenvolver warehouses.
• Ela deve esboçar as etapas que precisamos executar e fornecer
informações para planejar e fazer o orçamento das etapas.
• Uma boa metodologia resumirá a experiência de pessoas que tiveram
sucesso e falha no armazenamento.
• Ao utilizar uma Metodologia de Warehouse, deve ser entendido cada
etapa, o que será produzido e porque o produto a ser entrega é
importante.
• Deve-se personalizar a metodologia de acordo com as necessidades
específicas
Metodologia de Desenvolvimento de DW
Etapas da Metodologia de desenvolvimento
Etapa
Descrição
1- Planejamento do Projeto (Visão)
Escopo da aplicação, critérios de validação e
oportunidade de negócio que justifica sua
implementação. É realizada apenas 1 (uma) vez.
2- Definição dos Requisitos de negócio (Descoberta)
Alcançar o entendimento consistente dos requisitos de
Negócio.
3- Arquitetura
Projeto das tecnologias que solucionam as
necessidades
4- Projeto do DW (Construção)
Projeto físico de construção do DW .
5- Implementação
Apresenta o sistema para os usuários
6- Auditoria e Iteração
Coleta retorno para melhorias
Metodologia de Desenvolvimento de DW
1- PLANEJAMENTO DO PROJETO (VISÃO)
• Essa é a fase mais flexível: os resultados da visão para um tipo de trabalho
podem não fazer nenhum sentido para outro.
• A idéia geral é construir um plano em longo prazo para os esforços de apoio a
decisão da empresa e para seu DW Empresarial.
• Determinar se um investimento em armazenamento e em tecnologias
relacionadas é necessário ou não.
• Determinar onde o armazenamento e as tecnologias relacionadas podem servir
melhor a empresa.
• Criar um plano de longo prazo para o DW Empresarial e deve ser utilizado
durante a existência do projeto (pode durar anos).
Metodologia de Desenvolvimento de DW
1- PLANEJAMENTO DO PROJETO (VISÃO)
LISTA DE
INICIATIVAS/
LANÇAMENTOS
PLANO DE
TRABALHO DE
LONGO PRAZO
FASE DE
DESCOBERTA
(UMA INICIATIVA)
VISÃO COMERCIAL DA
DIRETORIA GERAL
LISTA DE
ENTIDADES
IMPORTANTES
PARA A
EMPRESA
MODELOS DE
DADOS DWE EM
NIVEL DE
ENTIDADE
Metodologia de Desenvolvimento de DW
2-DEFINIÇAO DOS REQUISITOS DE NEGÓCIO (DESCOBERTA)
Para cada lançamento identificado na visão, os requisitos detalhados são reunidos
e documentados em uma fase de descoberta (iniciativa).
Entre os objetivos da DESCOBERTA incluem :
• Reunir os requisitos detalhados para o lançamento do Warehouse em
questão;
• Envolver os usuários do sistema no processo de desenvolvimento.
Metodologia de Desenvolvimento de DW
2-DEFINIÇAO DOS REQUISITOS DE NEGÓCIO (DESCOBERTA)
PROTÓTIPO
(OPCIONAL)
FASE
DA
VISÃO
RESULTADOS
DE
ENTREVISTA
RELATÓRIOS E
ANÁLISES
EXIGIDOS
SEGURANÇA
E OUTROS
REQUISITOS
CRITÉRIOS
DE TESTE DE
ACEITAÇÃO
ELEMENTOS DE
DADOS
EXIGIDOS
MODELO DE
DADOS DWE
PROTÓTIPO
(OPCIONAL)
FASE
DA
ARQUIT
Metodologia de Desenvolvimento de DW
3-ARQUITETURA
O Objetivo da Arquitetura é muito simples : desenvolver projetos resistentes,
de alto nível e detalhados para o Warehouse, que possam ser criados durante
a fase de CONSTRUÇÃO.
SELEÇÕES DE
TECNOLOGIA
MODELO DE
DADOS
FISICO
MAPEAMENTO
EM NIVEL
DE CAMPO
FASE DE
DESCOBERTA
LISTA DE
SISTEMAS
DE
ORIGEM
PROJETOS
DE
RELATÓRIOS
LISTA DE
PROGRAMAS
PROJETO DE
PROGRAMAS
DETALHADOS
FASE DE
CONSTRUÇÃO
Metodologia de Desenvolvimento de DW
4 - CONSTRUÇÃO
Esta é a fase mais longa e dispendiosa da Metodologia de Desenvolvimento do
Warehouse.
O objetivo da construção é fazer e testar o sistema para que ele esteja pronto
para passar para a produção e ser distribuído para os usuários, na fase de
implementação.
BANCOS DE
DADOS P/
DESENV E
TESTES
FASE DE
ARQUITETURA
PROGRAMAS E
TAREFAS DE
MOVIMENTAÇÃO
METADADOS E
RELATORIOS DE
CONSUTLA
RESULTADOS
DE TESTES
DE SISTEMA
RESULTADOS
DO TESTE DE
ACEITAÇÃO DO
USUARIO
FASE
DE
IMPLEMENTAÇÃO
Metodologia de Desenvolvimento de DW
4 - CONSTRUÇÃO
• Há várias formas de se construir um Data Warehouse
• Áreas essenciais :
• Analise das fontes dos dados;
• Definição da transformação e da integração dos processos necessários;
• Construção do Data Warehouse propriamente dito
• Disponibilização das ferramentas a serem empregados para acessar e
extrair dados
Metodologia de Desenvolvimento de DW
4 - CONSTRUÇÃO
•
Etapas consideradas para construção do Data Warehouse (DW)
1.
Escolher os processos que se pretende modela, construindo tabela de
fatos para cada processo escolhido
•
Identificar temas que se pretende modelar (mínimo 1 tabela
fatos)
2.
Definir a granulidade de cada tabela de fatos para cada processo
•
Especificar o nível de detalhamento para cada tabela de fatos
3.
Definir as dimensões de cada tabela de fatos
•
Intuitivamente identificar cruzamentos de dados que interessam
4.
Identificar os Fatos
•
Identificar os valores aditivos (podem ser manipulados)
5.
Analisar os atributos das dimensões
•
Estabelecer descrições completas e terminologias apropriadas
Metodologia de Desenvolvimento de DW
4 - CONSTRUÇÃO
•
Etapas consideradas para construção do Data Warehouse (DW)
6.
Rever Dimensões populosas
•
Dimensões com muitas linhas precisam de tratamentos especiais
•
Definir agregações (desempenho)
7.
Prepara Dimensões para suportar evoluções
8.
Definir a Duração do Banco
•
Período de tempo em que o Banco de Dados vai ser utilizado pelo
DW
9.
Definir a Frequencia : Extrair e Carregar Dados
•
Estabelecer um período de tempo para que os dados sejam
retirados e colocados ou atualizados no DW
Metodologia de Desenvolvimento de DW
5 - IMPLEMENTAÇÃO
• É onde o sistema passa para um ambiente de produção e as ferramentas de
acesso são distribuídas para os usuários.
• treinamento também, pois, os usuários não poderão tirar proveito de suas
novas ferramentas.
• Existem dois objetivos principais na implementação:
• Passar o sistema para um ambiente de produção, onde ele opere de
maneira confiável;
• Fazer todo o trabalho necessário para garantir que os usuários possam
usar o sistema
BANCO DE
DADOS
PRODUÇÃO
C/CARGA
BASE DE
USUÁRIOS
TREINADA
FASE DE
AUDITORIA E
ITERAÇÃO
FASE DE
CONSTRUÇÃO
FERRAMENTAS
NOS DESKTOPS
DOS USUÁRIOS
Metodologia de Desenvolvimento de DW
6 – AUDITORIA E ITERAÇÃO
• Uma vez o sistema esteja lançado para os usuários, ele deve ser monitorado.
Esse monitoramento ocorre durante essa fase de auditoria e iteração.
• Os objetivos da auditoria e iteração são :
• Garantir que o sistema continue a apresentar o desempenho exigido por
seus usuários;
• Fornecer um mecanismo para que o feedback dos usuários seja usado em
melhorias do sistema.
RETORNO DAS
OPERAÇÕES
FASE DA
IMPLEMENTAÇÃO
RETORNO DO
USUÁRIO
MODIFICAÇÕES
E
ATUALIZAÇÕES