© Copyright 2012 EMC Corporation. Todos os direitos reservados.
1
BIG DATA
TRANSFORMA
OS NEGÓCIOS
Gustavo Tamaki
Sr. Sales Manager
Greenplum – A Division of EMC
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
2
!!!
!!!
“Big Data Is Less
About Size, And
More About Freedom”
!!!
―Techcrunch
!!!
!!!
!!!
“Findings: ‘Big Data’ Is
More Extreme Than “Big Data! It’s Real, It’s
Volume”
― Gartner
Real-time, and It’s
“Total data:
‘bigger’ than big
data” ― 451 Group
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
!!!
Already Changing Your
World”
―IDC
!!!
3
NO ANO 2000, O MUNDO GEROU
DOIS EXABYTES
DE NOVAS INFORMAÇÕES
2,000,000,000,000,000,000
Exa
Peta
Tera
Giga
Mega
Kilo
Byte
Fonte: "How Much Information?" Peter Lyman and Hal Varian, UC Berkeley. Digital Universe Study (Estudo do universo digital) da IDC, 2011.
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
4
NO ANO 2000, O MUNDO GEROU
DOIS EXABYTES
DE NOVAS INFORMAÇÕES
TODOS OS DIAS
Fonte: "How Much Information?" Peter Lyman and Hal Varian, UC Berkeley. Digital Universe Study (Estudo do universo digital) da IDC, 2011.
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
5
Nesta Década o Universo Digital Irá
CRESCER 30X
de 1.2 para 35.2 ZETTABYTES
Source: 2010 IDC Digital Universe Study
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
6
O Que Está Gerando a Inundação de Dados?
O FACEBOOK CARREGA
250 MILHÕES
DE FOTOS POR DIA
Sensores Móveis
A LEITURA DE MEDIDAS
INTELIGENTES
A CADA 15 MINUTOS
CONSOME
3.000X MAIS
Mídia Social
Vigilância em Vídeo
O CUSTO PARA
SEQUENCIAR
AS PLATAFORMAS DE
PETRÓLEO GERAM
UM
GENOMA
25.000
CAIU DE
US$ 100 mi EM 2001
PONTOS DE
DADOS
DADOS
POR SEGUNDO
Smart Grids
Exploração de Petróleo
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
Processamento de Vídeo
PARA US$ 10.000 EM
2011
Imagens Médicas
Sequenciamento Genético
7
O Valor dos Dados Está Aumentando
Novos modelos de negócios são baseados em dados!
1.000.000.000 de
consultas/dia
250.000.000 de
fotos novas/dia
290.000.000
de atualizações/dia
4.000.000
de pedidos/dia
2.800.000.000 de
transações/dia
31.000.000.000 de
interações/dia
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
8
90% do
Universo Digital é
NÃO ESTRUTURADO
Source : 2011 IDC Digital Universe Study
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
9
!!!
“Big Data Is Less
About Size, And
More About Freedom”
―Techcrunch
!!!
A ERA DO
BIG DATA
!!!
!!!
!!!
“Findings: ‘Big Data’ Is
More Extreme Than
“Big Data! It’s Real, It’s
Volume”
― Gartner
Real-time, and It’s
É AGORA
“Total data:
‘bigger’ than big !!!
data” ― 451 Group
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
!!!
Already Changing Your
―IDC
World”
!!!
10
Big Data Tem Gerado Novas Demandas
Dentro das Organizações
• Dados estruturados: transações em POS,
call detail records, transações de cartão de
crédito, atualizações de envio, ordens de
compra, pagamentos, envios, transações
de conta
• Dados não-estruturados: Web logs,
newsfeeds, social media, geo-location,
mobile, comentários de consumidores,
reclamações, notas de médicos, estudos
clínicos, imagens, video, audio
• Geradores de dados: sensores RFID,
smart meters, smart grids, GPS spatial,
micro-payments
Industry-specific
Web traffic
Velocity
Transactional
Data
Volume
Video
Social
Text
Complexity
Variety
Sensor/
location-based
Audio
Documents
Smart Grid
Images
Source: Gartner “Big Data Is Only The Beginning Of Extreme Information Management”, April 7, 2011
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
11
Big Data é Todo o Dado que…
…Desafia as Tecnologias
Tradicionais Existentes
“É Preciso Pensar Diferente”
Source: 2011 IDC Digital Universe Study
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
12
A Jornada Rumo ao Big Data
1
Todos os Dados
Respostas Rápidas
Elástico & Escalável
2
Processos & Ferramentas
Ágeis
Motores
AnalyticsAnalíticos
Engines
3
Ciência de Dados
Colaboração Data SelfService
Decisões em Tempo
Real
Novas Aplicações
“Data Monetization”
Apps com Uso de Big Data
Plataforma de Produtividade Analítica
Infraestrutura em Cloud
Infraestrutura Big Data
Foco na Tecnologia
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
Processos Analíticos Ágeis
Foco nas Pessoas & Produtividade
Empresa Preditiva
Foco na Aplicação
13
A Jornada Rumo ao Big Data
1
Todos os Dados
Respostas Rápidas
Elástico & Escalável
Motores
AnalyticsAnalíticos
Engines
Infraestrutura em Cloud
Infraestrutura Big Data
Foco na Tecnologia
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
14
Big Data Requer uma Nova Abordagem
Scale Up, Manual
Ilhas de Recursos
Mais Capacidade = Mais Admins
Otimização = “Gato e Rato”
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
Scale Out,
Automático
Um Conjunto Integrado
Mais Capacidade = Mesmos
Admins
Escalabilidade Linear
15
Scale Up Model
CPU CPU CPU
CPU
CPU CPU CPU
CPU
CPU CPU CPU
CPU
CPU CPU CPU
CPU
CPU CPU CPU
CPU
CPU CPU CPU
...
CPU
CPU CPU CPU
CPU
CPU CPU CPU
CPU
CPU CPU CPU
CPU
CPU CPU CPU
CPU
CPU CPU CPU
CPU
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
• Modelo de Investimento Caro
• Escalabilidade Cara e Limitada
• Desperdício de Capacidade de
Processamento
• Conectividade Limitada para Ambientes
de Big Data
• Elevado Custo de Disponbilidade
• Crescimento de Performance Não-Linear
16
Scale Out Model
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
CPU CPU
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
• Modelo de Investimento Otimizado (Baseado
em Commodity x86)
• Escalabilidade de Baixo Custo e Vistualmente
Ilimitado
• Otimização da Capacidade de Processamento
• Conectividade Cresce com o Número de Nós
do Cluster
• Custo Baixo de Disponibilidade
• Crescimento de Performance Linear
17
Soluções Scale-Out EMC para Big Data
ARQUITETURAS DE SOFTWARE EM CLUSTER
(Distributed File Systems, Clustered File Systems, etc)
Escalabilidade Ilimitada
Alta Performance
Máxima Proteção dos
Dados
Fácil de Usar / Gerenciar
Alta Disponibilidade
Serviços Enterprise
PLATAFORMA
DE NÓS
PARA BIG DATA
COMMODITY
HARDWARE
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
18
EMC Isilon
Capacidade Recorde
Simplicidade Extraordinária
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
19
Isilon: Armazenamento Scale-out Para
Big Data
Dimensionamento em
grande escala
15 PB em um único
sistema de arquivos
Desempenho inigualável
Throughput e IOPS
líderes do setor
Simplicidade no
gerenciamento
Gerencie PB como
gerenciaria TB
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
20
Desempenho Recorde em File System IO
Single File System
1,100,000+
636,036
403,326
190,675
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
21
Capacidade Recorde de File System
Single File System
15 PB
2 PB
64 TB
100 TB
Source: Vendor Product Specifications
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
22
Big Data Transforma a Produção de Filmes
 Aumenta a colaboração
e eficiência
• Acelera o término dos
projetos
• Permite disponibilidade
máxima dos dados
“Com Isilon, estúdios de ponta podem crescer em
performance e capacidade alinhados com as
mudanças de demanda dos projetos, acelerando a
produtividade enquanto minimiza os custos.”
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
23
Atmos
Globalmente Distribuído
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
24
Nova Abordagem Para Big Data Distribuído
L.A.
BOSTON
LONDRES
Ilhas de armazenamento
•
•
•
•
Sistemas distintos
Administração manual
Um locatário, muitos sistemas
Armazenamento provisionado por IT
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
L.A.
BOSTON
LONDRES
Pool de armazenamento único
•
•
•
•
Sistema único em vários locais
Políticas automatizadas
Vários locatários, um sistema
Acesso com autoatendimento
25
Armazene & Gerencie Big Data
Distribuído de Forma Eficiente
EMC Atmos
Um Único Sistema Através de Várias Localidades
APP
3
Scale-Out de Forma Transparente
Recursos Compartilhados e Segurança Multi-Tenant
Posicionamento, Proteção, Serviços de Dados Automatizados
Acesso Fácil Através de Redes & Plataformas
Medição & Self-Service
NEW YORK
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
U.K.
26
Então… tudo o que tenho a fazer é
gerenciar grandes volumes de
dados, certo?
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
27
ERRADO!
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
28
Big Data Tem a Ver com Novas
Formas de Lidar com os Dados
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
29
Big Data Tem a Ver com
Análises Preditivas!
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
30
Inteligência Analítica
O que é o melhor que pode acontecer?
O que irá acontecer?
Diagnóstico proativo
Por que está acontecendo?
Consultas
Ad Hoc
Relatório
s Padrões
O
Modelagem
Preditiva
Previsão
Análise
Estatística
Alertas
Query
Drill
Down
Otimização
Quais as ações necessárias?
Onde exatamente está o problema?
Quantos, com que frequencia, onde?
que aconteceu?
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
31
Como as Empresas Estão Usando Big Data
Pesquisa global da McKinsey com 1.469 executivos de nível C em diversos setores e empresas de vários portes, "Minding Your Digital Business", 2012.
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
32
Valor do Ciclo de Vida do Cliente
Focando Nos Seus Melhores Clientes
Customer Lifetime Value
Value
Customer Growth
o
Identifying UpsellCrossSell Opportunities
Customer Retention
o
Identifying at risk
customers
Customer Acquisition
o
Customer Targeting
o
Campaign Optimization
o
Social Media Analysis
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
33
Onde o Processo Analítico Adiciona Valor
Customer Life Cycle
By increasing
the avg basket
size
Value
By retaining
valuable
customers
By targeting more
valuable customers
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
34
Respostas Possíveis com Big Data
 O que os clientes estão dizendo e
fazendo?
 Quem são os clientes de maior
valor?
 Como podemos agrupar e
caracterizar entidades?
 Quem são os melhores
pagadores?
 O que poderíamos mudar para
influenciá-los?
 Que clientes são os melhores
alvos de uma campanha?
 O que está mudando no nosso
ambiente?
 Qual a melhor próxima oferta?
 Que artefatos e eventos são
relevantes para nossas questões?
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
 Como identificar clientes mais
propensos ao abandono?
 Como otimizar investimentos?
35
Infraestrutura Analítica para Big Data
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
36
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
37
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
38
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
39
A Plataforma Analítica Unificada
Greenplum
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
40
Big Data Transforma Utilities
 Preveja a utilização e as
paralizações
– Detecção mais rápida de paralisações
– Identifique o roubo de energia
 Ajude os clientes a reduzir custos
– Ofereça visualização em tempo real do
consumo de energia
 Incentive o comportamento do
consumidor
"A plataforma de data warehousing e análise
lógica da Greenplum nos ajuda a transformar
eficientemente os dados de medições em
informações práticas."
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
– Preço baseado na demanda em
momentos de pico e fora do pico
41
Inteligência Analítica em Utilities
Vizinhança com
baixa voltagem…
Problemas a
endereçar
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
42
A Jornada Rumo ao Big Data
1
Todos os Dados
Respostas Rápidas
Elástico & Escalável
2
Ciência de Dados
Colaboração Data SelfService
Processos & Ferramentas
Ágeis
Motores
AnalyticsAnalíticos
Engines
Plataforma de Produtividade Analítica
Infraestrutura em Cloud
Infraestrutura Big Data
Foco na Tecnologia
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
Processos Analíticos Ágeis
Foco nas Pessoas & Produtividade
43
CIÊNCIA DE DADOS
A NOVA EQUIPE QUE ORIENTA O BIG DATA
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
44
Identificação da Evolução de Comunidades
Correlacionadas
Um ponto representa uma comunidade inteira
Pearson’s Correlation Coefficient:
Aplicar a Correlação de Pearson permite a identificação de
grupos de comunidades que estão altamente correlacionados
ao longo do tempo, o que significa que os ciclos de vida da
comunidade são semelhantes.
Qual a importância para o negócio?
Empresas podem tomar medidas diferentes para uma
comunidade em expansão em oposição a uma em
contração. As empresas podem também testar ações
em algumas comunidades antes de lançar uma
campanha para todo o grupo. Além disso, pode ser
possível identificar os motivos que levam as
comunidades a serem correlacionados, dando o
negócio muito mais poder preditivo sobre os seus
comportamentos.
Vertical Axes: Active Edges
Horizontal Axes: Time
Wu, B., Ye, Q., Yang,S., Croup CRM: a new Telecom CRM Framework from Social Network Perspective, CNIKM’09, November 6, 2009
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
45
Processo Lógico Pré-Existente
3. Buscar
informações
sobre os dados
1. Localizar
os dados
4. Passar
para o
Sandbox
2. Obter acesso
aos dados
6. Tornar o modelo
operacional
5. Finalmente a
análise!
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
46
Chorus: A Plataforma Social Para Big Data
Espaços de
trabalho do
projeto
Exploração
dos
dados
Colaboração
Publicação
e
iteração
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
Análise
de dados
47
Análise Lógica Colaborativa
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
48
A Jornada Rumo ao Big Data
1
Todos os Dados
Respostas Rápidas
Elástico & Escalável
2
Processos & Ferramentas
Ágeis
Motores
AnalyticsAnalíticos
Engines
3
Ciência de Dados
Colaboração Data SelfService
Decisões em Tempo
Real
Novas Aplicações
“Data Monetization”
Apps com Uso de Big Data
Plataforma de Produtividade Analítica
Infraestrutura em Cloud
Infraestrutura Big Data
Foco na Tecnologia
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
Processos Analíticos Ágeis
Foco nas Pessoas & Produtividade
Empresa Preditiva
Foco na Aplicação
49
Opções de Aplicativos Tradicionais
Aplicativos em pacotes
Aplicativos
personalizados
Automação
Eficiência e custo
Exige um modelo definido
Inovação
Crescimento e receita
Difíceis, caros, lentos
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
50
Aplicações Big Data
Dados não estruturados
Gene Sequencing Movie Editing Seismic Study
Dados semi-estruturados
Social Media
Clickstream
Productivity
Dados estruturados
CRM/Risk
ERP
Core Banking
Web Content Storage Services
Social Media
Clickstream
Productivity
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
Hybrid
Cloud
51
Documentum xCP
xCelerated Composition Platform
Percepção para agir.
Melhor. Mais rápido. Compatível.
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
52
xCP: Desenvolvimento de Aplicações Baseada em
Casos para Big Data
Fácil construção
Uma ferramenta para quem não
é programador!
Modelagem de processos do tipo
arrastar-e-soltar
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
Decisões melhores e mais
rápidas
Forneça os dados mais recentes
Trilha completa de auditoria
Deixe a auditoria de TI feliz!
Reduza os riscos às informações
Permita decisões contextuais
53
POR ONDE
COMEÇAR?
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
54
Greenplum Analytics Lab
 Pacote de soluções que geram valor
comercial e resultados palpáveis
 Acelere os recursos de análise lógica
dos dados com seus analistas
 Aproveite a expertise dos cientistas de
dados da Greenplum
 Estabeleça uma visão estratégica para
o desenvolvimento de análises lógicas
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
55
Vision Workshop
• Entregáveis Chave:
–
–
Priorização de Oportunidades de Negócio orientadas de forma analítica (impactos de negócio,
financeiro ou competitivo, principais patrocinadores funcionais, riscos de implementação)
Use Cases de negócio detalhados (questões de negócio, decisões chave, indicadores chave de
performance, requerimentos de experiência do usuário, preocupações de governança)
Understand
Envision
Brainstorm
Select
Document
• Identify key
business
initiative,
objectives and
timeframe
• “Envision” the
business
potential of big
data advanced
analytics
• Identify
supporting
business
questions and
decisions
• Prioritize
opportunities
• Identify
impediments
• Capture
analytics
opportunities
• Recommend
next steps
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
56
Ciência de Dados e Lógica de Big Data
Curso e Certificação da EMCDSA
Visão geral do curso
Detalhes
• Currículo "aberto"
• Permite a participação imediata em
projetos de análise lógica
• Prepara para a certificação EMCDSA
(EMC Proven Professional Data Science
Associate, colaborador de ciência de
dados EMC Proven Professional)
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
57
A Jornada Rumo ao Big Data
1
2
TRANSIÇÃO PARA UMA
3
EMPRESA
PREDITIVA
NUVEM
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
SOCIAL
ÁGIL
58
OBRIGADO
© Copyright 2012 EMC Corporation. Todos os direitos reservados.
59