Ebook Bdfv3
Ebook Bdfv3
Ebook Bdfv3
Fundamentos 3.0
Nossa
Escola
Big Data
Neste exato momento, uma
verdadeira enxurrada de dados, ou
2.5 quin5lhões de bytes por dia, é
gerada para nortear indivíduos,
empresas e governos, e está
dobrando a cada dois anos.
Big Data
Cerca de 90% de todos os dados
gerados no planeta, foram
gerados nos últimos 2 anos.
Big Data
Aproximadamente 80% dos
dados são não-estruturados ou
estão em diferentes formatos, o
que dificulta a análise.
Big Data
Toda vez que fazemos uma compra,
uma ligação ou interagimos nas
redes sociais, estamos produzindo
esses dados.
Volume Variedade
Tamanho dos Dados. Formato dos Dados
Velocidade Veracidade
Geração dos Dados.
Confiabilidade dos Dados
Data Science Academy
Os 4 V's do Big Data
àAlém disso, esNma-se que 3.1 trilhões de dólares por ano sejam
desperdiçados devido a problemas de qualidade dos dados.
Não
Os dados são estruturados ou podem ser Os dados NÃO são estruturados ou NÃO podem
estruturados antes do armazenamento? ser estruturados antes do armazenamento?
Bene'cios do DW:
Um Data Store é um repositório para armazenar e gerenciar de forma persistente coleções de dados que
incluem não apenas dados estruturados, mas também Dpos de armazenamento variado, como documentos,
dados no formato de chave-valor, filas de mensagens e outros formatos de arquivo.
Com o avanço do Big Data veremos cada vez mais sistemas híbridos de
armazenamento, com dados armazenados em diferentes 5pos de
repositórios, local ou na nuvem.
DWs, Data Lakes e Data Stores serão usados em conjunto criando assim
uma grande estrutura de armazenamento de dados, um Data Hub.
Um servidor é um computador,
geralmente com alta capacidade
computacional, que “serve” (fornece)
serviços de armazenamento, aplicações
ou bancos de dados.
Um cluster de computadores é um
conjunto de servidores com um mesmo
propósito visando fornecer um tipo de
serviço, como armazenamento ou
processamento de dados.
Dados
Dados Dados Dados Dados
Dados
Dados Dados Dados Dados
Dados
Dados Dados Dados Dados
Dados
Dados Dados Dados Dados
Preparação dos
Dados Modelagem Deploy
Dados
Limpeza Seleção do Deploy
Algoritmo
Transformação Processamento
ODmização de
Normalização
Hiperparâmetros
Processamento
Treinamento
Teste e Avaliação
Preparação dos
Dados Modelagem Deploy
Dados
Limpeza Seleção do Deploy
Algoritmo
Transformação Processamento
Otimização de
Normalização
Hiperparâmetros
Processamento
Treinamento
Teste e Avaliação
Preparação dos
Dados Modelagem Deploy
Dados
Limpeza Seleção do Deploy
Algoritmo
Transformação Processamento
ODmização de
Normalização
Hiperparâmetros
Processamento
Treinamento
Teste e Avaliação
Preparação dos
Dados Modelagem Deploy
Dados
Limpeza Seleção do Deploy
Algoritmo
Transformação Processamento
Otimização de
Normalização
Hiperparâmetros
Processamento
Treinamento
Teste e Avaliação
Preparação dos
Dados Modelagem Deploy
Dados
Limpeza Seleção do Deploy
Algoritmo
Transformação Processamento
ODmização de
Normalização
Hiperparâmetros
Processamento
Treinamento
Teste e Avaliação
Pipeline de Dados
E assim nasceram:
Small Data
Big Data
Dados que estão disponíveis
Grandes volumes de dados,
em quanDdade mínima
com muita variedade e
suficiente para compreensão
gerados em alta velocidade.
humana.
Caminho Mais
MoneZzação de Redução de
Rápido Para
Dados Custos
Inovação
Agilidade no
Processo de Menor Risco no Uso Criação de Uma
Decisão Baseado de Dados Cultura Data-Driven
em Dados
Extract,
Transform,
Load
Extract,
Load,
Transform
Manufatura
Finanças
Saúde
Varejo
http://caesarscorporate.com
http://www.cerner.com
http://www.eharmony.com.br
hsp://www.mastercard.com/br
http://www.mastercard.com/br
hsps://farmlogs.com
O Hadoop já é realidade!
Avaliação Final
Certificado de Conclusão
E-Book do Curso
Data Science Academy
Muito Obrigado!