WESLLEY MOURA
Como o Bigdata está transformando as arquiteturas corporativas e aumentando o
poder de decisão das empresas
AGENDA
DEFINIÇÃO E QUADRANTE MÁGICO DO GARTNER
A ORIGEM DOS DADOS
O INTERESSE PELO ASSUNTO AO PASSAR DO TEMPO
O INTERESSE PELO ASSUNTO AO REDOR DO MUNDO
PRINCIPAIS PUBLICAÇÕES
QUAIS QUESTÕES DE NEGÓCIO VOCÊ ESTÁ TENTANDO RESPONDER?
VISÕES *RM-ODP: O QUE É IMPORTANTE PARA UMA ARQUITETURA?
OS DESAFIOS DE UMA ARQUITETURA TRADICIONAL DE ANÁLISE DE DADOS
COMO O BIG DATA ESTÁ TRANSFORMANDO AS ARQUITETURAS CORPORATIVAS
CRITÉRIOS PARA DEFINIÇÃO DE UMA ARQUITETURA
CASE: RECUPERAÇÃO DE RECEITA COM A ANÁLISE DE CDRs
CASE: BIG DATA AJUDOU OBAMA A GANHAR ELEIÇÕES
JOGO RÁPIDO
DEFINIÇÃO E QUADRANTE MÁGICO DO GARTNER
Magic Quadrant for Business Intelligence and
Analytic Platforms
Big Data são informações de grande volume, alta
velocidade e alta variedade, que exigem formas
inovadoras
e
de
baixo
custo
para
seu
processamento, proporcionando uma melhor
percepção do negócio e auxiliando na tomada de
decisão.
Gartner IT Glossary - Tradução livre
3V’s
Baixo
custo
Tomada
de
decisão
Big Data
A ORIGEM DOS DADOS
O INTERESSE PELO ASSUNTO AO PASSAR DO TEMPO
Fonte: Google Trends
O INTERESSE PELO ASSUNTO AO REDOR DO MUNDO
No mundo
No Brasil
Fonte: Google Trends
PRINCIPAIS PUBLICAÇÕES
Data deluge
Businesses, governments and society are only starting to tap its vast potential
The economist – Fevereiro/2010
http://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century/
Data, data everywhere
A special report on managing information
The economist – Fevereiro/2010
http://www.economist.com/node/15557443
Data Scientist: The Sexiest Job of the 21st Century
by Thomas H. Davenport and D.J. Patil
Harvard Business Review – Outubro/2012
http://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century/
Big Data: The Management Revolution
by Andrew McAfee and Erik Brynjolfsson
Harvard Business Review – Outubro/2012
http://hbr.org/2012/10/big-data-the-management-revolution
Making Advanced Analytics Work for You
by Dominic Barton and David Court
Harvard Business Review – Outubro/2012
http://hbr.org/2012/10/making-advanced-analytics-work-for-you/
QUAIS QUESTÕES DE NEGÓCIO VOCÊ ESTÁ
TENTANDO RESPONDER?
QUAIS QUESTÕES DE NEGÓCIO VOCÊ ESTÁ TENTANDO RESPONDER?
Analisar o passado, como “o que aconteceu” e “porque aconteceu”, continua sendo
importante para as organizações, porém entender o que está acontecendo hoje e
entender o que ainda vai acontecer amanhã permite que a empresa trace estratégias
com mais precisão. O BIG DATA também auxiliar as empresas nesse sentido.
VISÕES *RM-ODP: O QUE É IMPORTANTE PARA UMA ARQUITETURA?
Business Drivers
Information
Modelagem da
informação
Fontes da informação
Fluxo das informações
Arquitetura
Requisitos de negócio
Políticas de negócio
Computation
Algoritmos e
estruturas de
dados
Engineering
Technology
Mecanismos para implementação
do que foi analisado
Qual software/hardware serão
utilizados
As decisões arquiteturais são guiadas pelos Business
Drivers
*Reference Model of Open Distributed Processing
OS DESAFIOS DE UMA ARQUITETURA TRADICIONAL DE ANÁLISE DE DADOS
ORIGEM
ORIGEM
ORIGEM
Autoria: Fagner Aires
OS DESAFIOS DE UMA ARQUITETURA TRADICIONAL DE ANÁLISE DE DADOS
Montagem de Schemas durante a carga
Necessidade de “tipagem “dos dados
Consumo centralizado dos dados
Complexidade para montagem e administração de processamento paralelo
As janelas do ETL estão ficando pequenas
Necessidade de descompactação e recompactação de dados
Tradução e processamento de algoritmos estatísticos
Necessidade de pré-agregação das informações para uso de self-service BI
Autoria: Fagner Aires
COMO O BIG DATA ESTÁ TRANSFORMANDO AS ARQUITETURAS CORPORATIVAS
COMO O BIG DATA ESTÁ TRANSFORMANDO AS ARQUITETURAS CORPORATIVAS
Informações que vêm do dispositivo móvel, da frota de
caminhão, streaming de informações, das redes sociais, de
sensores, de logs de internet, histórico de navegação...
COMO O BIG DATA ESTÁ TRANSFORMANDO AS ARQUITETURAS CORPORATIVAS
É necessário integrar estas novas informações ao negócio
CRITÉRIOS PARA DEFINIÇÃO DE UMA ARQUITETURA
Problema de negócio
Utilities: Prever o
consumo de energia
Machine-generated
data
Telecommunications:
Análise de Churn de
clientes
Web and social data
Transaction data
Marketing: Sentiment
analysis
Descrição
Big Data (type)
Web and social data
Empresas de serviços públicos têm desenvolvido sensores
inteligentes para medir o consumo de água, gás, e
eletricidade em intervalos regulares de uma hora ou menos.
Estes medidores inteligentes geram enormes volumes de
dados que precisam ser analisados.
Criação de modelos de predição que envolvem dados
transacionais (como análise de CDRs) e informações de
mídias sociais
Os departamentos de marketing usam feeds de Twitter para
realização de análise de sentimentos, para determinar o que
usuários estão dizendo sobre a empresa, seus
produtos ou serviços.
A análise é muito utilizada após o lançamento de um produto
ou serviço.
Objetivo
Facilita o entendimento do tipo de arquitetura necessário para a empresa.
Nos ajuda a entender como e com que frequência os dados são adquiridos e processados
CRITÉRIOS PARA DEFINIÇÃO DE UMA ARQUITETURA
Big data architecture and patterns: Introduction to big data classification and architecture
How to classify big data into categories
Divakar Mysore, Shrikant Khupat, Shweta Jain
17 September 2013
CASO TELEMAR: RECUPERAÇÃO DE RECEITA COM A ANÁLISE DE CDRs
Projeto conduzido pela TDW BI Consulting
PROBLEMA
1.
2.
3.
SOLUÇÃO
Perda de faturamento por erros de
configuração no processo de bilhetagem.
Dificuldade para validar/contestar cobrança
de interconexão de outras operadoras
Grande dificuldade para identificar os erros
de bilhetagem devido aos volumes
envolvidos
DESAFIOS
2
3
Fazer o batimento de 15
bilhões de registros no
ciclo mensal
Problemas de
sincronização de
horários das centrais
1
Carregar a analisar
500 Milhões de
registros por dia
Encontrar as chamadas que passaram pela
rede (SS7) e não foram encaminhadas para
faturamento (CDRs), encaminhando-as ao
processo de recuperação de receita.
DIAGRAMA DA SOLUÇÃO
Mediated
CDRs and
Network
Registers
500 milhões de registros/dia
Teradata
Analysis team
RA maintenance Team
RESULTADOS
Análise diária de ligações
Análise detalhada e completa
Visibilidade de 100% da perda
Ganho de 9.3 MM no primeiro ano de análise
CASE: BIG DATA AJUDOU OBAMA A GANHAR ELEIÇÕES
As eleições mudaram radicalmente depois da primeira campanha de Barack Obama
à presidência dos Estados Unidos, em 2008. O uso das redes sociais transformou o
mundo digital em peça-chave da disputa.
A equipe de Obama usou Big Data para conquista de votos. Para isso, montou um
gigantesco banco de dados, com detalhes de cada eleitor e de como as pessoas
reagiam a diferentes abordagens. As informações orientaram voluntários, indicaram
as melhores formas de arrecadar fundos e apontaram quem poderia ser convencido
a apoiar a reeleição do presidente.
DESAFIO
Convencer as pessoas certas a fazerem doações, trabalhar buscando apoios e aumentar o comparecimento às urnas
ESTRATÉGIAS ADOTADAS
Técnicas usadas por empresas para atrair consumidores, como marketing direcionado e microssegmentação
Compra de dados em empresas como Experian e a Acxiom
Enriquecimento de dados com informações de redes sociais (em especial Twitter e o Facebook)
Segmentação dos eleitores de acordo com o perfil de navegação no site da oficial da campanha
Criação de cluster de acordo com os gostos e características das pessoas (perfil político, etc)
Entregar a campanha certa para a pessoa certa (one to one)
TECNOLOGIAS UTILIZADAS
Amazon Web Services para armazenar e processar o enorme volume de dados
Ferramentas de banco de dados como Amazon DynamoDB e Amazon RDS
Utilização de arquitetura orientada a serviços (criação do Narwhal)
“
Adotamos a mentalidade de que ter dados é bom, mas ter mais dados é melhor ainda.
”
Bill Schmarzo,um dos diretores de tecnologia da empresa EMC e especialista em big data, em entrevista à INFO
JOGO RÁPIDO
Dublin
Seattle
Boston
A prefeitura fez um acordo com a IBM
O laboratório Senseable City Lab, do
O governador Deval Patrick lançou no
para entender o problema do
MIT, convidou 500 pessoas para
fim de 2012 um projeto chamado “A
congestionamento e da lotação de
etiquetarem seu lixo com tags
Iniciativa Big Data” que construiu um
seu serviço de transporte público.
eletrônicas. Ao todo, cerca de 5 mil
espaço hacker chamado Hack/Reduce.
Pesquisadores da gigante americana
pedaços de dejetos foram rastreados em
Nesse prédio, computadores foram
utilizam dados de uma série de fontes,
seu caminho pelos Estados Unidos ao
colocados à disposição de qualquer
como câmeras de monitoramento,
longo de três meses.
profissional ou empreendedor
GPS de ônibus e tabelas de
Com esse grande volume de dados
interessado em processar grandes
horários, para criar um panorama
reunidos, os pesquisadores obtiveram
volumes de dados.
digital do trânsito da capital irlandesa.
uma base para iniciar um estudo de
A ideia era atrair talentos para usar
Com esse mapa, será possível que
logística e melhoria do fluxo do lixo
essa infraestrutura para explorar
operadores identifiquem pontos
produzido na cidade.
informações fornecidas pela cidade,
críticos de congestionamento e
de maneira a melhorar serviços no
trabalhem alternativas.
município.
exame.abril.com.br (25.09.2013)
Obrigado!
Weslley Moura
[email protected]