Tipos de Sistemas Sistemas Operacionais (DB) Sistemas de Registo Histórico (DW) 1 Database System Concepts 21.1 ©Silberschatz, Korth and Sudarshan Sistemas típicos das Organizações Clientes A Organização Sistemas de Suporte à Decisão ERPs Portais Soluções CRM Data Marts Data Stages Data Warehouse Extranets Fornecedores Database System Concepts Soluções B2B 2 21.2 ©Silberschatz, Korth and Sudarshan Taxonomia de Dados e de Sistemas Os dados podem ser classificados como: Históricos/Projectados Primitivos/Derivados Públicos/Privados Os diferentes tipos de dados determinam as características dos Sistemas de Informação. Immon 93 - “Data Architecture: The Information Paradigm” 3 Database System Concepts 21.3 ©Silberschatz, Korth and Sudarshan Taxonomia de Dados e de Sistemas Dados Primitivos / Derivados Primitivos dependem de uma única ocorrência ou facto na organização. Exemplo, registo da data, montante e intervenientes de cada transação. Derivados os dados derivados dependem de vários factos ou ocorrências na organização. São dados calculados, agregados e resumidos 4 Database System Concepts 21.4 ©Silberschatz, Korth and Sudarshan Taxonomia de Dados e de Sistemas Dados Históricos/Projectados “Históricos” registam factos acontecidos com valores precisos e correctos. Existe acordo quando à forma de os obter ou calcular. Projectados são estimativas ou previsões de factos que irão acontecer. O conceito de correcto ou incorrecto não se aplica às projecções. Normalmente não existe unanimidade quando à forma de os obter ou calcular. 5 Database System Concepts 21.5 ©Silberschatz, Korth and Sudarshan Taxonomia de Dados e de Sistemas Dados Públicos/Privados Públicos São dados cuja integridade é mantida pela organização. Podem ser o único registo de um facto na organização. Interessam a vários indivíduos da organização. Privados Traduzem as necessidades imediatas de cada indivíduo. Têm como dono e interessam a um único indivíduo. 6 Database System Concepts 21.6 ©Silberschatz, Korth and Sudarshan Taxonomia de Dados e de Sistemas Sistemas Operacionais Sistemas de Suporte à Decisão Sistemas de suporte Sistemas de registo Data Warehouse atómico Primitivos Data Marts Data Marts departamental individual Derivados + públicos + privados Presente Históricos Estimativas + orientados à aplicação + orientados ao assunto 7 Database System Concepts 21.7 ©Silberschatz, Korth and Sudarshan Taxonomia de Dados e de Sistemas Diferenças entre dados Primitivos/Derivados Nível de Detalhe Desempenho Padrões de Utilização Disponibilidade Utilizadores Actualização Definição Qtd. de acessos Modificação Primitivos Alto Alto Alto Alta Diversos imediata Estática Muitos/curtos Alta Derivados Baixo Baixo Baixo Baixa Concentrados periódica Dinâmica Poucos/longos Baixa 8 Database System Concepts 21.8 ©Silberschatz, Korth and Sudarshan Taxonomia de Dados e de Sistemas Sistemas Operacionais Suportam as operações diárias do negócio (seg. a seg), segundo processos bem definidos Manipulam dados descreve o estado actual do negócio A informação refere-se às operações atómicas São optimizados para o processamento rápido Os sistemas são optimizados para o armazenamento e modificação da informação Os clientes acedem cada vez mais a estes dados Data warehouse & Sistemas de Suporte à Decisão São usados para gerir e controlar o negócio A informação é uma série de vistas do negócio em determinados pontos no tempo A optimização (desnormalização) resulta apenas do facto de não haver updates Os sistemas são optimizados para a pesquisa da informação Estes sistemas dão suporte a processos não definidos 9 Database System Concepts 21.9 ©Silberschatz, Korth and Sudarshan Data Warehouses e Sistemas Suporte à Decisão OLAP Data Mining Highly Summarized Data Data Mart Extração, Limpeza e Carregamento de Dados M/D Meta Data M/D Data Mart Data Warehouse Current Detail M/D M/D Old Detail Sistemas Operacionais Sistemas Legados 10 Database System Concepts 21.10 ©Silberschatz, Korth and Sudarshan Taxonomia de Dados e de Sistemas Exemplo de Informação/Queries em cada nível Operacional Atomic /DW J Jones 123 Main St Credit-AA J Jones 1986-1987 456 Hight St Credit-B Qual é o crédito do J Jones ? Qual é a evolução do crédito do J Jones ? Database System Concepts J Jones 1987-1989 456 Hight St Credit-A J Jones 1989-pres. 123 Main St Credit-AA DataMart Client/mes Jan - 4101 Feb - 4209 Mar – 4175 Apr – 4215 .... Estamos ganhar ou perder clientes de crédito ? individual Clientes desde 88 com crédito > A e contas > 5000 Que características têm os clientes ? 11 21.11 ©Silberschatz, Korth and Sudarshan Taxonomia de Dados e de Sistemas Exemplo de Integração Operacional Life Policy Operacional Auto Policy J Jones female July 20, 1945 ... J Jones 2 tickets 1998 1 bad accident 1999 ... Operacional health Policy Operacional Home Policy J Jones 2 children High blood pressure ... Database System Concepts Atomic /DW J Jones 123 Main Street maried ... J Jones female July 20, 1945 2 tickets 1998 1 bad accident 1999 2 children High blood pressure 123 Main Street maried ...... 12 21.12 ©Silberschatz, Korth and Sudarshan Data Warehousing Large organizations have complex internal organizations, and have data stored at different locations, on different operational (transaction processing) systems, under different schemas Data sources often store only current data, not historical data Corporate decision making requires a unified view of all organizational data, including historical data A data warehouse is a repository (archive) of information gathered from multiple sources, stored under a unified schema, at a single site Greatly simplifies querying, permits study of historical trends Shifts decision support query load away from transaction processing systems 13 Database System Concepts 21.13 ©Silberschatz, Korth and Sudarshan Data Warehousing 14 Database System Concepts 21.14 ©Silberschatz, Korth and Sudarshan Components of Data Warehouse When and how to gather data Source driven architecture: data sources transmit new information to warehouse, either continuously or periodically (e.g. at night) Destination driven architecture: warehouse periodically requests new information from data sources Keeping warehouse exactly synchronized with data sources (e.g. using two-phase commit) is too expensive Usually OK to have slightly out-of-date data at warehouse Data/updates are periodically downloaded form online transaction processing (OLTP) systems. What schema to use Schema integration 15 Database System Concepts 21.15 ©Silberschatz, Korth and Sudarshan Components of Data Warehouse (Cont.) Data cleansing E.g. correct mistakes in addresses E.g. misspellings, zip code errors Merge address lists from different sources and purge duplicates Keep only one address record per household (“householding”) How to propagate updates Warehouse schema may be a (materialized) view of schema from data sources Efficient techniques for update of materialized views What data to summarize Raw data may be too large to store on-line Aggregate values (totals/subtotals) often suffice Queries on raw data can often be transformed by query optimizer to use aggregate values 16 Database System Concepts 21.16 ©Silberschatz, Korth and Sudarshan Data Warehouse Schemas 17 Database System Concepts 21.17 ©Silberschatz, Korth and Sudarshan Warehouse Schemas Typically warehouse data is multidimensional, with very large fact tables Examples of dimensions: item-id, date/time of sale, store where sale was made, customer identifier Examples of measures: number of items sold, price of items Dimension values are usually encoded using small integers and mapped to full values via dimension tables Resultant schema is called a star schema More complicated schema structures – Snowflake schema: multiple levels of dimension tables – Constellation: multiple fact tables 18 Database System Concepts 21.18 ©Silberschatz, Korth and Sudarshan