Gestão de Negócios Virtuais
Prof° Ms. Claudio Benossi
Aula 09
Administração de Empresas
Big Data
Dados
• Dados como um conceito abstrato pode ser
explicado como o mais baixo nível de
abstração a partir do qual as informações e,
em seguida, o conhecimento são derivados.
• Informações em forma bruta ou desorganizada
(como letras, números ou símbolos) que se
referem ou representam, condições, ideias ou
objetos. Os Dados são ilimitados e presentes
em todo o universo.
Big Data
Tipos de Dados
• Dados Relacionais (Tabelas / Transação /
Legacy Data)
• Texto de Dados (Web)
• Semi-estruturados de dados (XML)
• Gráfico de Dados de Redes Sociais,
semanticweb (RDF)
• Data Streaming -Você só pode digitalizar os
dados uma vez
Big Data
• Big data é um enorme volume de dados
estruturados e não estruturados.
• O volume é tão grande que é impossível
processar com técnicas de banco de
dados e software tradicionais.
Big Data
• Big data é o termo utilizado para uma
coleção de conjuntos de dados tão
grande e complexo que se torna
impossível
processar
usando
ferramentas de gerenciamento de
banco de dados ou aplicações de
processamento de dados tradicionais.
Big Data
• Big data são dados cuja escala,
diversidade e complexidade exigem
novas arquiteturas, técnicas, algoritmos
e análises para gerenciá-los e extrair
valor e conhecimento oculto deles.
Onde está o Big Data
• Walmart lida com mais de 1 milhão de transações
de clientes a cada hora.
• Facebook processa 40 bilhões de fotos a partir de
sua base de usuários.
• Decodificação do genoma humano originalmente
levou 10 anos para processar; Agora isto pode ser
conseguido em uma semana.
• Google processava 20 PB por dia em 2008
• Facebook tem 2,5 PB de dados de usuários + 15TB /
dia em 2009 eBay tem 6,5 PB de dados do usuário +
50 TB / dia
Big Data
Big Data
VOLUME DE DADOS
• Aumento de 44x entre 2009 e 2020
• De 0,8 zettabytes para 35zb
• O volume de dados está crescendo
exponencialmente
Big Data
Variedade
• Vários formatos, tipos e estruturas
• Texto, imagens, áudio, vídeo, sequências,
séries temporais, dados de mídia social,
matrizes multi-dimensão, numéricos, entre
outros.
• Dados estáticos versus fluxo de dados
• Uma única aplicação pode estar gerando /
coletando muitos tipos de dados
Big Data
Velocidade
• Dados é começar gerado rápido e precisam
ser processadas rapidamente
• Análise de dados online
• Decisões tardias perdem oportunidades
• E-Promoções: Com base na sua localização
atual, o seu histórico de compras, o que
você gosta, enviar promoções agora para
uma loja perto de você.
Big Data
Velocidade
EXEMPLOS
• Monitoramento em Saúde: sensores de
monitoramento de suas atividades
corporais.
• As medições anormais exigem reação
imediata.
Big Data
Evolução do conceito de Big Data
Big Data
+1 V
Big Data
Quem está Gerando Big Data?
• Redes de Mídias Sociais
(Todos nós geramos dados)
Big Data
Quem está Gerando Big Data?
• Instrumentos Científicos
(coletando todos os tipos de dados)
Big Data
Quem está Gerando Big Data?
• Dispositivos Móveis
(Rastrando todos os objetos o tempo
todo)
Big Data
Quem está Gerando Big Data?
• Redes de sensors de tecnologia
(Medindo todos os tipos de dados)
Big Data
Dados Mudam Constantemente
Instrumentalização
Tudo que pode ser medido será medido.
•
Big Data
Dados Mudam Constantemente
Consumerização
Funcionários e clientes esperam mais
interações pessoais, mas não ao custo de
sua privacidade.
•
Big Data
Dados Mudam Constantemente
Experimentação
AS companhias mais inovadoras adotam a
experimentação e agilidade.
•
Big Data
Implantação de Big Data
Tecnologias de DBMS Paralelas
• Proposto no final dos anos oitenta
• Amadurecido ao longo das últimas duas
décadas
• Indústria Multi-bilionária: Motores DBMS
proprietários como solução de Data
Warehousing para grandes empresas
Big Data
Map Reduce
• Google foi o pioneiro
• Yahoo! popularizou (Hadoop)
Big Data
O que é Hadoop?
• É um Sistema distribuído, tolerante a
falhas e altamente escalável para
processamento e armazenamento de
dados
Big Data
O Hadoop possui dois principais
componentes:
• Hadoop Distributed File System (HDFS).
• Auto recuperável, grande capacidade de
armazenamento de dados em clusters.
Resiliente, redundante, otimizado para
tratamento de grandes arquivos.
Big Data
• O Hadoop possui dois principais componentes:
• Map Reduce. Processamento distribuído e
tolerante a falhas. Módulo programável para
processamento de conjuntos de dados.
Mapeia entradas para saídas e reduz a saída
de multiplos Mappers para 1 (uma ou algumas
respostas).
• Opera com dados estruturados ou não
estruturados
• Possui um extenso eco sistema de aplicações.
Big Data
Desafios para o Big Data
A integração do Big Data é multidisciplinar
• Menos de 10% do mundo Big Data é
genuinamente relacional
• Significa que a integração de dados no real,
desarrumado e complexo mundo de Big
• Data, banco de dados e web semantica
usam métodos multi-disciplinares e
multitecnologias.
Big Data
Desafios para o Big Data
Extratificação de dados abertos
• Mapeamento, Classificação, Visualização,
Correspondencia de chaves
• Demonstrar o valor da semantica: deixe a
integração de dados direcionar a correta
tecnologia de DBMS
• Grandes volumes de dados heterogêneos,
como em links de dados
Big Data
Desafios para o Big Data
• A automatização de pesquisas
altera a definição do conhecimento
• Objetividade e precisão das
informações
• Grande volume de dados não
garante dados melhores
Big Data
Desafios para o Big Data
• Nem todos os dados são
equivalentes.
• Só porque o dado é acessível não
significa que seja ético
• O acesso limitado ao Big Data cria
novas divisas digitais
Big Data
Quem está coletando o Big Data
Big Data
Qual a finalidade dos dados coletados?
Companhias de cartões de crédito vão
aprimorar seus produtos e ofertas
baseados no comportamento de consumo
das pessoas.
Big Data
Qual a finalidade dos dados coletados?
Big Data
Por que coletar estes dados?
Mercado Alvo
• Enviar catálogos exatamente com a mercadoria que
você normalmente compra.
• Sugerir
medicamentos
que
correspondem
precisamente seu histórico médico.
• Oferecer os canais de televisão específicos no seu
pacote, em vez de esperar que você solicite.
• Enviar anúncios personalizados de acordo com o
seu perfil nesses canais.
Big Data
Por que coletar estes dados?
Informação Específica
• Saber o que você precise antes de você
baseado em seus hábitos de consumo.
• Notificar você que sua habilitação está
prestes a expirar ou sobre recargas em
cartões ou celulares.
Big Data - Conclusão
• Big Data e Big Data Analytics não são
apenas para grandes empresas
• Big Data não se trata de apenas
construir bancos de dados gigantes
• Mover o processamento para a fonte
dos dados traz muitos ganhos
• Escolha o cenário de Big Data mais
apropriado
Big Data - Conclusão
• Um cenário completo de dados com
conjuntos de dados inteiros podem ser
devidamente tratados e fatorados em
processamento
analítico,
com
tecnologias de processamento de banco
de dados inmemory ou tecnologia de
grid.
Big Data - Conclusão
• Para situações em que o uso conjunto
de dados não é tecnicamente viável ou
acrescenta pouco valor, um cenário de
dados segmentados pode usar analytics
e ferramentas de gerenciamento para
determinar o dado correto a ser
alimentado em modelos analíticos.
Big Data - Conclusão
• Big data não é apenas sobre ajudar uma
organização a ser mais bem sucedida –
Mas para o mercado tornar suas
operações de negócios mais eficazes.
Big Data - Conclusão
• Analytics de alta performance foi
concebido para apoiar iniciativas de Big
Data com bancos de dados in-memory,
e opções de computação em grid.
Big Data - Conclusão
• As organizações podem se beneficiar da
computação em nuvem, onde a análise
de grandes volumes de dados são
entregues como um serviço e recursos
de TI podem ser ajustados rapidamente
para atender às demandas de negócios..
Big Data - Conclusão
• O modelo On Demand prove aos
clientes a opção de impulsionar as
analyses de big data para eliminar ou
reduzir o tempo, o capital investido e
custos com manutenção associados a
infraestruturas on-premises.
Gestão de Negócios Virtuais
• Dúvidas?