E BookBigDataV2
Enviado por
Joana SampaioE BookBigDataV2
Enviado por
Joana Sampaiowww.datascienceacademy.com.
br Data Science Academy
Esse e-book não pode ser usado para fins comerciais, mas pode
ser distribuído livremente sob a licença Creative Commons.
Pedimos apenas, a gentileza de citar a fonte, pois todo este
material é resultado de trabalho árduo de nossa equipe.
Esta foi a forma que encontramos de contribuir com a
sociedade que deve ter a educação como prioridade.
www.datascienceacademy.com.br Data Science Academy
Big Data
Data Science
Academy
Fundamentos 2.0
O futuro é aqui.
www.datascienceacademy.com.br Data Science Academy
Prezado(a) Aluno(a),
Seja muito bem-vindo(a) ao curso:
Apresentação do Instrutor
Big Data Apresentação da DSA
Fundamentos 2.0 Conteúdo do Curso
Por que Realizar Este Curso?
Benefícios Deste Curso
www.datascienceacademy.com.br Data Science Academy
Treinamentos Gratuitos DSA
Big Data Fundamentos 2.0 Acreditamos que aprender não para nunca.
Introdução à
Ciência de Dados
Pyhton Fundamentos
Para Análise de Dados
Nossa Equipe
Microsoft Power BI preparou esses treinamentos
Para Data Science especialmente
para você!
www.datascienceacademy.com.br Data Science Academy
A Data Science Academy é um portal de ensino
online especializado em Big Data, Machine
Learning, Inteligência Artificial, Desenvolvimento
Data Science de Chatbots e tecnologias relacionadas. Nosso
Academy objetivo é fornecer aos alunos conteúdo de alto
nível por meio do uso de computador, tablet ou
smartphone, em qualquer lugar, a qualquer hora,
100% online e 100% em português.
Nossa
Escola
www.datascienceacademy.com.br
www.datascienceacademy.com.br Data Science Academy
Data Science Academy – Localização
No Brasil e no Mundo.
www.datascienceacademy.com.br Data Science Academy
Conteúdo Programático
Seja Muito Bem-Vindo(a)!
Conteúdo do Curso
Visão geral de conceitos e definições que
permitam uma compreensão clara do que é o
universo do Big Data para que você possa
avançar sua carreira nesta vibrante área.
1 Introdução
2 O que é Big Data?
3 Introdução ao Hadoop
4 Arquitetura Hadoop
5 Ecossistema Hadoop
www.datascienceacademy.com.br Data Science Academy
Conteúdo Programático
Seja Muito Bem-Vindo(a)!
Conteúdo do Curso
Visão geral de conceitos e definições que
permitam uma compreensão clara do que é o
universo do Big Data para que você possa
avançar sua carreira nesta vibrante área.
6 Soluções Comercias com Hadoop
7 Introdução ao Apache Spark
8 Banco de Dados NoSQL
9 Como Iniciar Projetos de Big Data
10 Avaliação e Certificado de
Conclusão
www.datascienceacademy.com.br Data Science Academy
Curso Big Data Fundamentos 2.0
Objetivo
Este curso oferece uma introdução detalhada
dos principais conceitos envolvendo Big Data,
permitindo uma compreensão clara do que há
de mais avançado em tecnologia de Carreira
Engenharia de Dados. Compreensão clara do
que é o universo do Big
Data para que você
possa avançar sua
carreira nesta vibrante
área.
www.datascienceacademy.com.br Data Science Academy
Pré-Requisitos
45 %
Muita Vontade de Aprender!
Entrar no Mundo do Big Data, uma
das áreas mais promissoras para os
próximos anos!
www.datascienceacademy.com.br Data Science Academy
O Que Esperamos de Você!
Sua abordagem no curso.
1 a 2 horas
de dedicação por semana.
Divirta-se Leitura do Material
Comunique-se, aprenda E-books e material
e divirta-se em nossa complementar!
Comunidade.
Bibliografia Interação
Leia a bibliografia
adicional, acesse os links Utilize nossas Apps e interaja
úteis e realize os quizzes na rede com outros alunos no
ao final dos capítulos. fórum exclusivo e na timeline
da Comunidade.
www.datascienceacademy.com.br Data Science Academy
Objetivos ao concluir o curso Big Data Fudamentos 2.0
Crescimento do Big Data Compreensão do Big Data
Apache Hadoop Apache Spark
Déficit de Profissionais Alavancar a Sua Carreira
www.datascienceacademy.com.br Data Science Academy
Avaliação Final
Category 4
Category 3
Category 2
Category 1
0 1 2 3 4 5 6
Questões Tentativas Aproveitamento
50 3 70%
www.datascienceacademy.com.br Data Science Academy
Suporte
Em todos os nossos cursos, gratuitos e pagos,
o aluno recebe suporte em até 24 horas,
incluindo finais de semana e feriados.
Seja aprovado,
Utilize um dos nossos canais de comunicação e
obtenha suporte sempre que precisar!
E receba o e-book com todo o
Nossa equipe é obcecada
conteúdo do curso pelo sucesso dos
nossos alunos!
de forma gratuita
Oferecemos mais do que cursos online.
Oferecemos uma experiência de aprendizagem!
www.datascienceacademy.com.br Data Science Academy
E-book
Seja aprovado,
E receba o e-book com todo o
conteúdo do curso
de forma gratuita.
www.datascienceacademy.com.br Data Science Academy
Compartilhe seu Certificado de Conclusão
Seja aprovado,
E receba o e-book com todo o
conteúdo do curso
de forma gratuita
www.datascienceacademy.com.br Data Science Academy
Apps Gratuitas para IOS e Android
Baixe agora mesmo.
www.datascienceacademy.com.br Data Science Academy 18
Trilhas de
Aprendizagem
www.datascienceacademy.com.br Data Science Academy
Formações DSA
Perfil de Formação Cientista de Dados
Desenvolvimento Formação IA
e/ou Análise de Formação Java
Dados
Perfil de
Infraestrutura
e/ou Formação Engenheiro de Dados
Administração de
Sistemas
www.datascienceacademy.com.br Data Science Academy
Formações DSA
www.datascienceacademy.com.br Data Science Academy
Formação Cientista de Dados
www.datascienceacademy.com.br
Transforme Dados em Resultados Data Science Academy
1. Big Data Analytics com R e Microsoft Azure Machine Learning
2. Big Data Real-Time Analytics com Python e Apache Spark
3. Engenharia de Dados com Hadoop e Spark
4. Machine Learning com R e Python
5. Business Analytics
6. Visualização de Dados e Design de Dashboards
7. Preparação para Carreira de Cientista de Dados
4 5 6 7
1 2 3
www.datascienceacademy.com.br Data Science Academy
Formação Inteligência Artificial
O Futuro é Agora
www.datascienceacademy.com.br Data Science Academy
1. Introdução à Inteligência Artificial
2. Deep Learning Frameworks
3. Programação Paralela em GPU
4. Deep Learning I
5. Deep Learning II
6. Visão Computacional e Reconhecimento de Imagens
7. Processamento de Linguagem Natural e Reconhecimento de Voz
8. Análise em Grafos Para Big Data
9. Sistemas Cognitivos
10. Projeto – Assistente Virtual Inteligente
7 8 9 10
4 5 6
1 2 3
www.datascienceacademy.com.br Data Science Academy
Construa
Aplicações
Analíticas
Comerciais
www.datascienceacademy.com.br Data Science Academy
1. Java Fundamentos
2. Análise Preditiva com Machine Learning em Java
3. Aplicações de Inteligência Artificial com Deep Learning em Java
4. Projeto – Aplicação Analítica Mobile com Inteligência Artificial
2 3 4
1
www.datascienceacademy.com.br Data Science Academy
Formações DSA
Perfil de Formação Cientista de Dados
Desenvolvimento Formação IA
e/ou Análise de Formação Java
Dados
Perfil de
Infraestrutura
e/ou Formação Engenheiro de Dados
Administração de
Sistemas
www.datascienceacademy.com.br Data Science Academy
Formação Engenheiro de Dados
www.datascienceacademy.com.br Data Science Academy
1. Design e Implementação de Data Warehouses
2. Data Lake - Design, Projeto e Integração
3. Segurança e Alta Disponibilidade de Dados
4. Machine Learning e IA em Ambientes Distribuídos
5. Analytics - Visualização, Relatórios e Tomada de Decisões com Big Data
4 5
1 2 3
www.datascienceacademy.com.br Data Science Academy
Treinamentos DSA
SQL Para Big Data
Gerenciamento de Dados com MongoDB
Arquiteto de Soluções AWS – Preparação Para Certificação
Data Mining e Modelagem Preditiva
Machine Learning com Linguagem Scala e Apache Spark
Desenvolvimento de Chatbots
R Fundamentos Para Análise de Dados
www.datascienceacademy.com.br Data Science Academy
Big Data Fundamentos 2.0
www.datascienceacademy.com.br Data Science Academy
Big Data
Cerca de 90% de
todos os dados
gerados no planeta,
foram gerados nos
últimos 2 anos.
www.datascienceacademy.com.br Data Science Academy
Big Data
Aproximadamente 80%
dos dados são não-
estruturados ou estão em
diferentes formatos, o que
dificulta a análise.
www.datascienceacademy.com.br Data Science Academy
Big Data
Modelos de análise de
dados estruturados,
possuem limitações quando
precisam tratar grandes
volumes de dados.
www.datascienceacademy.com.br Data Science Academy
Muitas empresas não sabem que
dados precisam ser analisados
Muitas empresas nem mesmo sabem
que os dados estão disponíveis
Dados preciosos são descartados por
falta de conhecimento ou
ferramentas de tratamento
www.datascienceacademy.com.br Data Science Academy
É caro manter e
organizar
grandes volumes
de dados não-
estruturados
www.datascienceacademy.com.br Data Science Academy
Big Data
www.datascienceacademy.com.br Data Science Academy
Big Data
Estamos em um período de
transformação no modo em
que dirigimos nossos
negócios e, principalmente,
as nossas vidas.
www.datascienceacademy.com.br Data Science Academy
Big Data
Neste exato momento, uma
verdadeira enxurrada de dados,
ou 2.5 quintilhões de bytes por
dia, é gerada para nortear
indivíduos, empresas e governos,
e está dobrando a cada dois
anos.
www.datascienceacademy.com.br Data Science Academy
Big Data
Toda vez que fazemos uma
compra, uma ligação ou
interagimos nas redes sociais,
estamos produzindo esses dados.
www.datascienceacademy.com.br Data Science Academy
Big Data
E com a recente conectividade em
objetos, tal como relógios, carros e até
geladeiras, as informações capturadas
se tornam massivas e podem ser
cruzadas para criar roadmaps cada vez
mais elaborados, apontando e, até
prevendo, o comportamento de
empresas e clientes.
www.datascienceacademy.com.br Data Science Academy
Big Data
www.datascienceacademy.com.br Data Science Academy
Big Data
Entre 2005 e 2020, o universo digital irá
crescer de 130 exabytes para 40.000
exabytes ou 40 trilhões de gigabytes
Em 2020, haverá 5.200 gigabytes para cada homem,
mulher e criança no planeta
Até 2020, o universo digital irá dobrar de tamanho a cada
2 anos
www.datascienceacademy.com.br Data Science Academy
Dados – Matéria-prima dos negócios
www.datascienceacademy.com.br Data Science Academy
A revolução não está nas máquinas que
calculam os dados e sim nos dados em si
e na maneira que são utilizados.
Big Data
www.datascienceacademy.com.br Data Science Academy
Big Data
www.datascienceacademy.com.br Data Science Academy
Mas afinal, o que é Big Data?
www.datascienceacademy.com.br Data Science Academy
O que é Big Data?
Big Data é uma coleção de conjuntos
de dados, grandes e complexos, que
não podem ser processados por
bancos de dados ou aplicações de
processamento tradicionais.
www.datascienceacademy.com.br Data Science Academy
O que é Big Data?
Capacidade de uma sociedade de
obter informações de maneiras
novas a fim de gerar ideias úteis e
bens e serviços de valor significativo.
www.datascienceacademy.com.br Data Science Academy
O que é Big Data?
O Google estima que a humanidade criou nos últimos 5
anos, o equivalente a 300 Exabytes de dados ou seja:
300.000.000.000.000.000.000 bytes de dados.
www.datascienceacademy.com.br Data Science Academy
O que é Big Data?
Podemos definir o conceito de Big Data como sendo conjuntos de
dados extremamente amplos e que, por este motivo, necessitam de
ferramentas especialmente preparadas para lidar com grandes
volumes, de forma que toda e qualquer informação nestes meios possa
ser encontrada, analisada e aproveitada em tempo hábil.
www.datascienceacademy.com.br Data Science Academy
O que é Big Data?
De maneira mais simplista, a ideia também pode ser
compreendida como a análise de grandes quantidades de
dados para a geração de resultados importantes que, em
volumes menores, dificilmente seriam alcançados.
www.datascienceacademy.com.br Data Science Academy
O que é Big Data?
O Big Data nos dá uma
visão clara do que é granular
www.datascienceacademy.com.br Data Science Academy
O que é Big Data?
No mundo do Big Data, por sua vez,
não temos de nos fixar na causalidade;
podemos descobrir padrões e
correlações nos dados que nos
propiciem novas e valiosas ideias.
www.datascienceacademy.com.br Data Science Academy
Qual o Tamanho
do Big Data?
www.datascienceacademy.com.br Data Science Academy
Qual o Tamanho do Big Data?
Zettabyte x 1024
Exabyte x 1024
Petabyte x 1024
Terabyte
x 1024
Gigabyte
www.datascienceacademy.com.br Data Science Academy
Qual o Tamanho do Big Data?
www.datascienceacademy.com.br Data Science Academy
O que é Big Data?
Muitos dos dados gerados, possuem um
tempo de vida curto e se não analisados,
perdem a utilidade.
Dados são transformados em informação,
que precisa ser colocada em contexto
para que possa fazer sentido.
É caro integrar grandes volumes de dados
não-estruturados.
www.datascienceacademy.com.br Data Science Academy
O que é Big Data?
Dados potencialmente valiosos em
sistemas ERP, CRM ou SCM são
descartados ou perdidos apenas
porque ninguém presta atenção neles.
www.datascienceacademy.com.br Data Science Academy
A Importância do Big Data
www.datascienceacademy.com.br Data Science Academy
Qual a Importância do Big Data?
Porque surgiram tecnologias
que permitem processar
E por que Big Data tem se
esta grande quantidade de
tornado tão importante?
dados de forma eficiente e
com baixo custo
www.datascienceacademy.com.br Data Science Academy
Qual a Importância do Big Data?
Os dados podem ser analisados
em seu formato nativo, seja ele E por que Big Data tem se
estruturado, não estruturado tornado tão importante?
ou streaming (fluxo constante
de dados)
www.datascienceacademy.com.br Data Science Academy
Qual a Importância do Big Data?
Dados podem ser E por que Big Data tem se
capturados em tempo real tornado tão importante?
www.datascienceacademy.com.br Data Science Academy
Qual a Importância do Big Data?
Dados podem ser E por que Big Data tem se
transformados em insights tornado tão importante?
de negócios
www.datascienceacademy.com.br Data Science Academy
Qual a
Importância
do Big Data?
www.datascienceacademy.com.br Data Science Academy
Qual a Importância do Big Data?
Encontrar profissionais habilitados em Big Data.
Compreender as plataformas e ferramentas para
Big Data.
Desafios Coletar, armazenar e analisar dados de diferentes
fontes, em diferentes formatos e gerados em
diferentes velocidades.
Migrar do sistema tradicional de coleta e
armazenamento de dados, para uma estrutura de
Big Data.
www.datascienceacademy.com.br Data Science Academy
Qual a Importância do Big Data?
Você acha que já
temos muitos
dados
atualmente?
www.datascienceacademy.com.br Data Science Academy
Qual a Importância do Big Data?
www.datascienceacademy.com.br Data Science Academy
Qual a Importância do Big Data?
www.datascienceacademy.com.br Data Science Academy
A Importância do Big Data
Até 2018, haverá um deficit de 140 a 190 mil profissionais com
habilidades em análise de dados e mais de 1,5 milhão de gerentes e
analistas que saibam usar Big Data de forma efetiva para tomada de
decisões.
McKinsey Global Institute "Big Data Report 2015"
www.datascienceacademy.com.br Data Science Academy
Os 4 V’s do Big Data
Volume Variedade
Tamanho dos Dados. Formato dos Dados
Velocidade Veracidade
Geração dos Dados.
Confiabilidade dos Dados
www.datascienceacademy.com.br Data Science Academy
Os 4Vs do Big Data
www.datascienceacademy.com.br Data Science Academy
Os 4Vs do Big Data
Espera-se que 40 zettabytes de dados sejam criados até
2020 no mundo;
Volume Cerca de 2.5 quintillionbytes de dados são criados por dia;
Tamanho dos Dados.
Existem atualmente cerca de 6 bilhões de telefones
móveis no planeta;
Cada empresa americana armazena cerca de 100
Terabytes de dados.
www.datascienceacademy.com.br Data Science Academy
Os 4Vs do Big Data
150 exabytes é a estimativa de dados que foram gerados
especificamente para tratamento de casos de doença em
todo o mundo no ano de 2011;
Variedade Mais de 4 bilhões de horas por mês são usadas para
Formato dos Dados. assistir vídeos no YouTube;
30 bilhões de imagens são publicadas por mês no
Facebook;
200 milhões de usuários ativos por mês, publicam 400
milhões de tweets por dia.
www.datascienceacademy.com.br Data Science Academy
Os 4Vs do Big Data
1 terabyte de informação é criada durante uma única
sessão da bolsa de valores Americana, a New York
Stock Exchange (NYSE);
Velocidade Aproximadamente 100 sensores estão instalados nos
Geração dos Dados.
carros modernos para monitorar nível de combustível,
pressão dos pneus e muitos outros aspectos do veículo;
18.9 billhões de conexões de rede existirão até 2016.
www.datascienceacademy.com.br Data Science Academy
Os 4Vs do Big Data
Atualmente, 1 em cada 3 gestores tem experimentado
problemas relacionados a veracidade dos dados para tomar
Veracidade decisões de negócios.
confiabilidade dos Dados.
Além disso, estima-se que 3.1 trilhões de dólares por ano
sejam desperdiçados devido a problemas de qualidade dos
dados.
www.datascienceacademy.com.br Data Science Academy
Os 4Vs do Big Data
Importância: Volume, Velocidade, Variedade
www.datascienceacademy.com.br Data Science Academy
Os 4Vs do Big Data
O Big Data traz um oceano de
oportunidades!
www.datascienceacademy.com.br Data Science Academy
Os 4Vs do Big Data
Processar de forma Responder ao aumento da
Coletar e analisar dados de
eficiente e com baixo custo velocidade de geração dos
diferentes formatos e fontes
grandes volumes de dados dados
Transformar 12 TB de Investigar 5 milhões de Monitorar milhares de
tweets gerados cada dia eventos de trade nas videos de segurança a fim
em produtos de análise de bolsas de valores a fim de de identificar pontos
sentimento identificar fraudes perigosos em uma cidade
Garantir que os dados
sejam confiáveis
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
• Engenharia de Dados com Hadoop e Spark
• Formação Engenheiro de Dados
http://hadoop.apache.org
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Apache Hadoop é um software open
source para armazenamento e
processamento em larga escala de
grandes conjuntos de dados (Big Data),
http://hadoop.apache.org
em clusters de hardware de baixo custo.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Temos visto o aumento crescente da
capacidade de armazenamendo dos
discos rígidos.
http://hadoop.apache.org
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Mas a velocidade de leitura e escrita
dos discos rígidos não tem crescido na
mesma proporção.
http://hadoop.apache.org
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Leitura e escrita paralela e simultânea
em diversos discos rígidos, requer
tecnologia avançada.
http://hadoop.apache.org
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Hadoop é um sistema de armazenamento
compartilhado, distribuído e altamente
confiável para processamento de grandes
volumes de dados através de clusters de
computadores.
http://hadoop.apache.org
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Em outras palavras, Hadoop é
um framework que facilita o
funcionamento de diversos
computadores, com o objetivo
de analisar grandes volumes
de dados.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
O projeto Apache hadoop é composto de 3
módulos principais:
• Hadoop Distributed File System (HDFS)
• Hadoop Yarn
• Hadoop MapReduce
http://hadoop.apache.org
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Hadoop is for problems too Big for traditional systems to handle
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Pesquisas tem mostrado que o crescimento do Hadoop tem sido vertiginoso:
E muito mais
ainda está por
vir!!
www.datascienceacademy.com.br Data Science Academy
Hadoop é um framework
gratuito, baseado em
linguagem de programação
Java, que suporta o
processamento de grandes
conjuntos de dados em
ambientes de computação
distribuída (através diversos
computadores
simultaneamente).
www.datascienceacademy.com.br Data Science Academy
Introdução
Introdução ao
ao Hadoop
Hadoop
Ele é baseado no Google File System
(GFS)
www.datascienceacademy.com.br Data Science Academy
Hadoop permite executar
aplicações em sistemas
distribuídos através de
diversos computadores
(nodes), envolvendo
petabytes de dados.
www.datascienceacademy.com.br Data Science Academy
Introdução
Introdução ao
ao Hadoop
Hadoop
Hadoop utiliza o HDFS (Hadoop
Distributed File System), que
permite rápida transferência de
dados entre os nodes. A
segurança do Hadoop é feita com
o Kerberos.
www.datascienceacademy.com.br Data Science Academy
Hadoop é usado quando
problemas muito grandes
(Big) precisam de solução.
www.datascienceacademy.com.br Data Science Academy
Introdução
Introdução ao
ao Hadoop
Hadoop
Hadoop tem um baixo custo, não
apenas por ser livre, mas por
permitir o uso de hardware simples,
computadores de baixo custo
agrupados em cluster
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Um das principais
características do Hadoop é a Seja aprovado,
confiabilidade e sua E receba o e-bok com todo o
capacidade de se recuperar conteúdo do curso de forma gratuita.
de falhas automaticamente.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Componentes Base do Hadoop:
Hadoop HDFS
Seja
Hadoop MapReduce
aprovado,
E receba o e-bok com todo o
conteúdo do curso de forma gratuita.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Componentes Base do Hadoop:
Seja aprovado,
= +
E receba o e-bok com todo o
conteúdo do curso de forma gratuita.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Componentes Base do Hadoop:
De forma bem simples, podemos dizer:
= HDFS – armazenamento distribuído
+ MapReduce – computação distribuída
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Por que o Hadoop está se tornando o padrão nos projetos de Big Data?
Baixo Tolerante a
Escalável Flexível
Custo Falhas
Livre
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
• Tolerância a falhas a recuperação automática.
• Portabilidade entre hardware e sistemas operacionais
heterogêneos.
• Escalabilidade para armazenar e processar grandes
quantidades de dados.
• Confiabilidade, através da manutenção de várias
cópias de dados.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
• Flexibilidade – processa todos os dados independente do tipo
e formato, seja estruturado ou não-estruturado.
• Confiabilidade - permite que os jobs sejam executados em
paralelo e em caso de falhas de um job, outros não são
afetados.
• Acessibilidade – suporte a diversas linguagens de programação
como Java, C++, Python, Apache Pig.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Introdução ao
Hadoop
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
HDFS (Hadoop Distributed File System)
• Foi desenvolvido utilizando o projeto do sistema de arquivos
distribuídos (DFS). Ele é executado em hardware commodity (baixo
custo). Ao contrário de outros sistemas distribuídos, HDFS é
altamente tolerante a falha.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
• DFS (Distributed File System) - foi criado para gestão
de armazenamento em uma rede de computadores.
• HDFS é otimizado para armazenar grandes arquivos.
• HDFS foi pensado para executar em clusters de
computadores de baixo custo.
• HDFS foi pensado para ser ótimo em performance do
tipo WORM (Write Once, Read Many Times), que é um
eficiente padrão de processamento de dados.
• HDFS foi pensando considerando o tempo de leitura de
um conjunto de dados inteiro e não apenas o primeiro
registro.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Namenode
HDFS cluster possui 2
tipos de nodes:
Namenode (master node) Datanode
Datanode (worker node)
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Namenode
Namenode
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Datanode
Datanode
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Introdução
ao Hadoop
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
• MapReduce é um modelo de programação para
processamento e geração de grandes conjuntos de dados.
• MapReduce transforma o problema de análise em um
processo computacional que usa conjuntos de chaves e
valores.
• MapReduce foi desenvolvido para tarefas que consomem
minutos ou horas em computadores conectados em rede
de alta velocidade gerenciados por um único master.
• MapReduce usa um tipo de análise de dados por força
bruta. Todo o conjunto de dados é processado em cada
query.
• Modelo de processamento em batch.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Dados
K = Key
A função de Mapeamento V = Value
mapeamento, converte
dados em pares de
chave(K)/valor(V)
K1:V K2:V K3:V K4:V
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Mapper 1 Reducer 1
Mapper 2 Reducer 2
Big Data Resultado
Mapper 3 Reducer 3
Mapper 4 Reducer 4
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Seek Time x Transfer Rate
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
• MapReduce permite a execuçao de queries ad-hoc em todo
o conjunto de dados em um tempo escalável.
• Muitos sistemas distribuídos combinam dados de múltiplas
fontes (o que é bem complicado), mas MapReduce faz isso
de forma eficiente e efetiva.
• O segredo da performance do MapReduce, está no
balanceamento entre seeking e transfer: reduzir operações
de seeking e usar de forma efetiva as operações de transfer.
Seek time – é o delay para encontrar um arquivo.
Transfer rate – é a velocidade para encontrar o arquivo.
Transfer rates tem melhorado significamente
(é bem mais veloz que Seek times)
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
• O MapReduce é bom para atualizar todo (ou a maior parte)
de um grande conjunto de dados.
• RDBMS (Relational Database Management System) são
ótimos para atualizar pequenas porções de grandes bancos
de dados.
• RDBMS utiliza o tradicional B-Tree, que é altamente
dependente de operações de seek.
• MapReduce utiliza operações de SORT e Merge para recriar
o banco de dados, o que é mais dependente de operações
de transfer.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
O MapReduce se baseia em operações de transfer,
o que deixa o acesso aos dados muito mais veloz.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
MapReduce x RDBMS
RDBMS* MapReduce
Tamanho dos dados Gigabytes (10ˆ9) Petabytes (10ˆ12)
Acesso Interativo e Batch Batch
Updates Leitura e Escrita diversas vezes WORM (Write Once, Read Many Times)
Estrutura de Dados Esquema estático Esquema dinâmico
Integridade Alta Baixa
Escalabilidade Não-linear Linear
* RDBMS = Relational Database Management System
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
Tipos de Dados
Dados Dados Semi Dados Não
Estruturados Estruturados Estruturados
Dados que são Dados que não Dados sem estrutura
representados em possuem um modelo pré-definida
formato tabular formal de organização
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
MapReduce é muito efetivo com dados semi ou não estuturados!
Por que?
www.datascienceacademy.com.br Data Science Academy
Introdução ao Hadoop
MapReduce interpreta dados durante as sessões de processamento de dados.
Ele não utiliza propriedades intrínsecas. Os parâmetros usados para
selecionar os dados, são definidos pela pessoa que está fazendo a análise.
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Hadoop não é um banco de dados.
Hadoop é um framework para armazenamento e
processamento de grandes conjuntos de dados!
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Hadoop x RDBMS
Hadoop RDBMS
▪ Conceito de transações
▪ Conceito de Jobs
Modelo de ▪ Uma transação é uma unidade de
▪ Cada Job é uma unidade de trabalho
Computação trabalho
▪ Não há controle de concorrência
▪ Controle de concorrência
▪ Qualquer tipo de dado pode ser usado ▪ Dados estruturados com controle
Modelo de
▪ Dados em qualquer formato de esquema
Dados
▪ Modelo de apenas leitura ▪ Modelo de leitura/escrita
Modelo de ▪ Máquinas de custo mais baixo podem ser ▪ Servidores de maior custo são
Custo usadas necessários
Tolerância a ▪ Simples, mas eficiente mecanismo de ▪ Falhas são raras de ocorrer
Falhas tolerância a falha ▪ Mecanismos de recuperação
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Mas o que é um Cluster
afinal?
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Seja aprovado,
= +
E receba o e-bok com todo o
conteúdo do curso de forma gratuita.
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Cluster Hadoop possui 2 tipos Master
de nodes:
Master node
Worker (slave) node
Slave
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Storage Processamento
HDFS MapReduce
Datanode TaskTracker
Master Node
Storage Processamento
HDFS MapReduce
Datanode TaskTracker
Storage Processamento Storage Processamento
HDFS MapReduce HDFS MapReduce
Namenode JobTracker Datanode TaskTracker
Armazenamento Computação
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Serviços Base do Hadoop
➢ NameNode Master
➢ Secondary NameNode JobTracker
➢ DataNode MapReduce
➢ JobTracker Slave TaskTracker TaskTracker Slave
➢ TaskTracker
NameNode
HDFS
Slave DataNode DataNode Slave
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Cluster Hadoop
Processamento Cliente Armazenamento
Distribuído Distribuído
MapReduce HDFS
Master Secondary
Nodes JobTracker NameNode
NameNode
Slave DataNode DataNode DataNode
Nodes
TaskTracker TaskTracker TaskTracker
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Passo 1 – Dados são enviados para o cluster Hadoop
Dados
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Programa
Dados
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Modos de Configuração do Hadoop
Hadoop suporta 3 modos de configuração:
Modo Standalone Todos os serviços Hadoop são executados em uma única JVM, no mesmo servidor
Serviços individuais do Hadoop são atribuídos a JVM’s individuais, no mesmo
Pseudo Distribuído
servidor
Totalmente Serviços individuais do Hadoop são executados em JVM’s individuais, mas através
Distribuído de cluster
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Arquitetura HDFS
Secondary
Master NameNode
NameNone
Slave
DataNode DataNode DataNode
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
1. Os serviços NameNode e Secondary NameNode, constituem os
serviços Master. Os serviços DataNode são os slaves.
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
2. O serviço Master é responsável por aceitar os Jobs das
aplicações clientes e garantir que os dados requeridos para a
operação sejam carregados e segregados em pedaços de blocos
de dados.
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
3. O HDFS permite que os dados sejam armazenados em arquivos.
Um arquivo é dividido em um ou mais blocos que são armazenados
e replicados pelos DataNodes. Os blocos de dados são então
distribuídos para o sistema de DataNodes dentro do cluster. Isso
garante que as réplicas de dados sejam mantidas.
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
4. As réplicas de cada bloco de dados são distribuídas em
computadores em todo o cluster para permitir o acesso de dados
confiável e de forma rápida.
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Cluster HDFS
Cluster Single-Node Cluster Multi-Node
Hadoop é instalado em um único Hadoop é instalado em diversos
computador (chamado node) nodes.
São usados para processamento São usados para computação
mais simples, bem como operações complexa, normalmente
triviais de MapReduce e HDFS envolvendo aplicações de Analytics
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Processamento
MapReduce
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
MapReduce
Listas Ordenadas
Listas Ordenadas ainda menores
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
MapReduce foi projetado para usar
computação paralela distribuída em Big
Data e transformar os dados em
pedaços menores.
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
MapReduce
MapReduce funciona através de 2 operações:
Mapeamento e Redução.
No processo de mapeamento (Map), os dados são separados em pares (key-value
pairs), transformados e filtrados.
Então os dados são distribuídos para os nodes e processados.
No processo de redução (Reduce), os dados são agregados em conjuntos de dados
(datasets) menores. Os dados resultantes do processo de redução são
transformados em um formato padrão de chave-valor (key-value), onde a chave (key)
funciona como o identificador do registro e o valor (value) é o dado (conteúdo) que é
identificado pela chave.
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
MapReduce
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Processo de MapReduce
Todo o processo se inicia com a requisição feita pelo
cliente e o job submetido. O Job Tracker se encarrega
de coordenar como o job será distribuído.
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Mapeamento dos dados - os dados de entrada são
primeiramente distribuídos em pares key-value e
divididos em fragmentos, que são então atribuídos a
tarefas de mapeamento.
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Redução dos dados - cada operação de redução
dos dados tem um fragmento atribuído.
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Exemplos de Aplicações do MapReduce
MapReduce vem sendo largamente utilizado em aplicações de Big Data, tais como:
Classificação Bayesiana para operações de Data Mining.
Operações de search engine, como indexação de keywords, rendering e page rank.
Análise Gaussian para localização de objetos astronômicos.
Web Semântica e Web 3.0.
Sistemas de Recomendação.
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
MapReduce
MapReduce em Tempo Real
MapReduce vem sendo largamente utilizado em aplicações real-time. Alguns exemplos :
Classificação Bayesiana para operações de data mining.
Operações de search engine, como indexação de keywords, rendering e page rank.
Análise Gaussian para localização de objetos astronômicos.
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Cache Distribuído
Distributed Cache ou Cache Distribuído, é uma funcionalidade do Hadoop que permite
cache dos arquivos usados pelas aplicações.
Isso permite ganhos consideráveis de performance quando tarefas de map e reduce
precisam acessar dados em comum. Permite ainda, que um node do cluster acesse os
arquivos no filesystem local, ao invés de solicitar o arquivo em outro node.
É possível fazer o cache de arquivos zip e tar.gz.
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Cache Distribuído
Uma vez que você armazena um arquivo em cache para o seu trabalho, a estrutura
Hadoop irá torná-lo disponível em cada node (em sistema de arquivos, não em
memória) onde as tarefas de mapeamento / redução estão em execução.
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Segurança
O Hadoop utiliza o Kerberos, um mecanismo de autenticação usado por exemplo no
sistema de diretórios dos servidores Windows e também no sistema operacional Linux
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Segurança
Por padrão Hadoop é executado no modo não-seguro em que não é necessária a
autenticação real. Após ser configurado, o Hadoop é executado em modo de
segurança e cada usuário e serviço precisa ser autenticado pelo Kerberos, a fim de
utilizar os serviços do Hadoop.
www.datascienceacademy.com.br Data Science Academy
Arquitetura Hadoop
Segurança
Depois que o Kerberos estiver configurado, a autenticação Kerberos é usada para
validar as credenciais do lado do cliente. Isso significa que o cliente deve solicitar uma
permissão de serviço válido para o ambiente Hadoop.
www.datascienceacademy.com.br Data Science Academy
Ecossistema
Hadoop
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache
Hadoop
Ecossistema
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Pense no ecossistema como as apps do sistema operacional iOS ou Android
Os aplicativos servem para aprimorar a capacidade do SO
Mesmo raciocínio pode ser aplicado para os componentes do ecossistema Hadoop
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Inteligência
(Mahout, Drill)
Interação de Dados Busca
(Pig, Hive, Spark, Storm) (Lucene, Solr)
Gráficos
(Giraph) Operação e
Desenvolimento
Segurança (Ooozie,
(Knox, Sentry) Execução de Jobs (MapReduce, YARN)
Zookeeper,
Ambari)
Serialização (Avro, Trevni, Thrift)
Armazenamento de Dados
Sistema de Arquivos (HDFS)
(HBase, Cassandra)
Transferência de Dados (Flume, Sqoop, Kafka, Falcon)
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Zookeeper
Zookeeper é uma solução open-source de alta performance,
para coordenação de serviços em aplicações distribuídas.
Ele é uma espécie de guardião do Zoo!
http://zookeeper.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Zookeeper
ZooKeeper é um serviço de coordenação distribuída para
gerenciar grandes conjuntos de hosts (Clusters).
http://zookeeper.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Zookeeper
Coordenação e gestão de um serviço em um ambiente
distribuído é um processo complicado.
ZooKeeper resolve este problema com a sua arquitetura
simples.
http://zookeeper.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Zookeeper
ZooKeeper permite que os desenvolvedores se concentrem
na lógica do aplicativo principal sem se preocupar com a
natureza distribuída do aplicativo.
http://zookeeper.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Zookeeper
O framework ZooKeeper foi originalmente construído no
"Yahoo!" para acessar seus aplicativos de uma forma fácil e
robusta.
Mais tarde, Apache ZooKeeper se tornou um padrão para a
organização de serviços do Hadoop, HBase e outras
estruturas distribuídas.
Por exemplo, o HBase usa ZooKeeper para acompanhar o
estado de dados distribuídos através do Cluster.
http://zookeeper.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Zookeeper
ZooKeeper proporciona um ponto comum de acesso a
uma ampla variedade de objetos utilizados em ambientes
de Cluster.
http://zookeeper.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Oozie
Apache Oozie é um sistema de agendamento de workflow
usado para gerenciar principalmente os Jobs de MapReduce.
http://oozie.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Oozie
Oozie é integrado com o restante dos componentes do
ecossistema Hadoop para apoiar vários tipos de trabalhos do
Hadoop (como Java Map-Reduce, streaming Map-Reduce, Pig,
Hive e Sqoop), bem como jobs específicos do sistema (como
http://oozie.apache.org programas Java e scripts shell).
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Oozie
Oozie é um sistema de processamento de fluxo de trabalho que
permite aos usuários definir uma série de jobs escritos em
diferentes linguagens - como Map Reduce, Pig e Hive – e então
inteligentemente ligá-los um ao outro.
http://oozie.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Oozie
Oozie permite aos usuários especificar, por exemplo, que uma
determinada consulta só pode ser iniciada, após os jobs
anteriores que acessem os mesmos dados, sejam concluídos.
http://oozie.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Oozie Oozie é um sistema versátil que pode ser usado para configurar
e automatizar até mesmo o mais complicado workflow de
processamento de dados.
Lembre-se que estamos falando em processamento de Big Data,
http://oozie.apache.org
em Clusters que podem chegar a milhares de nodes.
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Hive
Apache Hive é um Data Warehouse que funciona com Hadoop e
MapReduce.
http://hive.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Hive
Hive é um sistema de armazenamento de dados para Hadoop
que facilita a agregação dos dados para relatórios e análise de
grandes conjuntos de dados (Big Data).
http://hive.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Hive
Hive permite consultas sobre os dados usando uma linguagem
SQL-like, chamada HiveQL (HQL).
http://hive.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Hive
Provê capacidade de tolerância a falha para armazenamento de
dados e depende do MapReduce para execução.
http://hive.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Hive
Ele permite conexões JDBC / ODBC, por isso é facilmente
integrado com outras ferramentas de inteligência de negócios
como Tableau, Microstrategy, Microsoft Power BI entre outras.
http://hive.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Hive
Hive é orientado a batch e possui alta latência para execução de
queries.
Assim como o Pig, gera jobs MapReduce que executam no
cluster Hadoop.
http://hive.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Hive Hive é um sistema para gestão e query de dados não
estruturados, em formato estruturado.
Hive utiliza:
MapReduce
(para execução)
http://hive.apache.org
HDFS
(para armazenamento
e pesquisa de dados)
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Hive Hive Query Language - HQL
Hive Query Language (HQL) é a linguagem de queries para o
engine Hive
HQL suporta os conceitos básicos da linguagem SQL
http://hive.apache.org • Cláusula From
• ANSI Join (somente equi-join)
• Insert
• Group-by
• Sampling
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Hive Query Language - HQL
Exemplo:
hive> select * from tb_folha_pagamento;
http://hive.apache.org hive> show tables;
hive> describe tb_folha_pagamento;
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Sqoop
Sqoop é um projeto do ecossistema do Apache Hadoop, cuja
responsabilidade é importar e exportar dados de bancos de
dados relacionais.
http://sqoop.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Sqoop
Sqoop é um projeto do ecossistema do Apache Hadoop, cuja
responsabilidade é importar e exportar dados de bancos de
dados relacionais.
Sqoop significa SQL-to-Hadoop.
http://sqoop.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Sqoop
Basicamente, o Sqoop permite mover os dados de bancos
tradicionais como Microsoft SQL Server ou Oracle, para o
Hadoop.
http://sqoop.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Sqoop
É possível importar tabelas individuais ou bancos de dados
inteiros para o HDFS e o desenvolvedor pode determinar que
colunas ou linhas serão importadas.
http://sqoop.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Sqoop
Ferramenta desenvolvida para transferir dados do Hadoop
para RDBMS e vice-versa.
http://sqoop.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Sqoop
Transforma os dados no Hadoop, sem necessidade de
desenvolvimento adicional.
http://sqoop.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Sqoop
Ele também gera classes Java através das quais você pode
facilmente interagir com os dados importados.
http://sqoop.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Sqoop
Utiliza conexão JDBC para conectar com os bancos de dados
relacionais.
http://sqoop.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Sqoop
Pode criar diretamente tabelas no Hive e suporta importação
incremental.
http://sqoop.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Sqoop
Exemplo: Listando tabelas de um
banco MySQL com Sqoop:
http://sqoop.apache.org
sqoop list-tables –username dsacademy –password dsacademybr \
--connect jdbc:mysql://dbname
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Pig
É uma ferramenta que é utilizada para analisar grandes
conjuntos de dados que representam fluxos de dados.
http://pig.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Pig
Podemos realizar todas as operações de manipulação de
dados no Hadoop usando Apache Pig.
http://pig.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Pig
Para escrever programas de análise de dados, Pig oferece
uma linguagem de alto nível conhecida como Pig Latin.
http://pig.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Pig
Para escrever programas de análise de dados, Pig oferece
uma linguagem de alto nível conhecida como Pig Latin.
Esta linguagem fornece vários operadores que os
programadores podem usar para criar as suas próprias
funções para leitura, escrita e processamento de dados.
http://pig.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Pig
Para analisar dados usando Apache Pig, os programadores
precisam escrever scripts usando linguagem Pig Latin.
http://pig.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Pig
Para analisar dados usando Apache Pig, os programadores
precisam escrever scripts usando linguagem Pig Latin.
Todos esses scripts são convertidos internamente para
tarefas de mapeamento e redução.
http://pig.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Pig
Para analisar dados usando Apache Pig, os programadores
precisam escrever scripts usando linguagem Pig Latin.
Todos esses scripts são convertidos internamente para
tarefas de mapeamento e redução.
Apache Pig tem um componente conhecido como Pig
engine que aceita os scripts Pig Latin como entrada e
http://pig.apache.org converte esses scripts em jobs MapReduce.
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Componentes do Pig
Apache Pig
Pig Latin Script Language
• Linguagem procedural de fluxo de dados
• Contém sintaxe e comandos que podem ser aplicados
para implementar lógica de negócios
Runtime engine
• Compilador que produz sequências de programas
http://pig.apache.org MapReduce
• Utiliza HDFS para armazenar e buscar dados
• Usado para interagir com sistemas Hadoop
• Valida e compila scripts em sequências de Jobs
MapReduce
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Pig X SQL
Apache Pig
Pig SQL
Linguagem de script usada para Linguagem de query usada para
interagir com o HDFS interagir com bancos de dados
Passo a passo Bloco único
Avaliação não imediata Avaliação imediata
Requer que um join seja executado 2
http://pig.apache.org
Permite resultados intermediários vezes ou materializado como um
resultado intermediário
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache HBase
HBase é um banco de dados orientado a coluna construído sobre
o sistema de arquivos do Hadoop.
http://hbase.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache HBase
HBase é um banco de dados orientado a coluna construído sobre
o sistema de arquivos do Hadoop.
HBase é o banco de dados oficial do Hadoop.
http://hbase.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache HBase
HBase tem um modelo de dados que é semelhante ao Big Table
do Google projetado para fornecer acesso aleatório rápido a
grandes quantidades de dados.
http://hbase.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache HBase
Ele aproveita a tolerância a falhas fornecida pelo sistema de
arquivos do Hadoop (HDFS).
http://hbase.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache HBase
Ele aproveita a tolerância a falhas fornecida pelo sistema de
arquivos do Hadoop (HDFS).
É uma parte do ecossistema Hadoop que fornece em tempo real
http://hbase.apache.org
acesso aleatório de leitura / gravação aos dados do HDFS.
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache HBase
Podemos armazenar os dados diretamente no HDFS ou através
do HBase.
http://hbase.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache HBase
O objetivo do HBase é armazenar tabelas realmente grandes,
com bilhões de registros.
http://hbase.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Arquitetura HBase
HBase possui 2 tipos de Nodes: Master e RegionServer
Apache HBase
Master RegionServer
Somente um node Master pode ser
executado. A alta disponibilidade é Um ou mais podem existir
http://hbase.apache.org mantida pelo ZooKeeper
Responsável pela gestão de operações
Responsável por armazenar as tabelas,
de cluster, como assignment, load
realizar leituras e buffers de escrita
balancing e splitting
O cliente comunica com o
Não faz parte de operações de
RegionServer para processar operações
read/write
de leitura/escrita
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
HBase x RDBMS
Apache HBase HBase RDBMS
Particionamento automático ou
Particionamento automático
manual, realizado pelo administrador
Pode ser escalado de forma linear e Pode ser escalado verticalmente com
automática com novos nodes a adição de mais hardware
http://hbase.apache.org Requer hardware mais robusto e
Utiliza hardware commodity
portanto, mais caro
Tolerância a falha pode estar presente
Possui tolerância a falha
ou não
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Flume
Flume é um serviço que basicamente permite enviar dados
diretamente para o HDFS.
http://flume.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Flume
Foi desenvolvido pela Cloudera e permite mover grandes
quantidades de dados.
http://flume.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Flume
Basicamente, o Apache Flume é um serviço que funciona em
ambiente distribuído para coletar, agregar e mover grandes
quantidades de dados de forma eficiente.
http://flume.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Flume
Ele possui uma arquitetura simples e fléxível beseada em
streaming (fluxo constante) de dados.
http://flume.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Flume Ele possui uma arquitetura simples e fléxível beseada em
streaming (fluxo constante) de dados.
http://flume.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Flume
O modelo de dados do Flume, permite que ele seja usado em
aplicações analíticas online.
http://flume.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Flume
O Flume também pode ser usado em Infraestrutura de TI.
http://flume.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Flume
O Flume também pode ser usado em Infraestrutura de TI.
Agentes são instalados em servidores web, servidores de
aplicação ou aplicativos mobile, para coletar e integrar os
dados com Hadoop, para análise online.
http://flume.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Mahout
Apache Mahout é uma biblioteca open-source de algoritmos
de aprendizado de máquina, escalável e com foco em
clustering, classificação e sistemas de recomendação.
http://mahout.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Mahout
O Mahout é dedicado ao Machine Learning.
http://mahout.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Mahout
O Mahout permite a utilização dos principais algoritmos de
clustering, testes de regressão e modelagem estatística e os
implementa usando um modelo MapReduce.
http://mahout.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Mahout
E quando utilizar o Mahout?
http://mahout.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Mahout • Você precisa utilizar algoritmos de Machine Learning com
alta performance?
• Sua solução precisa ser open-source e gratuita?
• Você possui um grande conjunto de dados (Big Data) e
pretende utilizar ferramentas de análise como R, Python e
Octave?
http://mahout.apache.org • Seu processamento de dados será feito usando um modelo
batch (você não precisa utilizar dados gerados em tempo
real)?
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Mahout • Você precisa utilizar algoritmos de Machine Learning com
alta performance?
• Sua solução precisa ser open-source e gratuita?
• Você possui um grande conjunto de dados (Big Data) e
pretende utilizar ferramentas de análise como R, Python e
Octave?
• Seu processamento de dados será feito usando um modelo
http://mahout.apache.org batch (você não precisa utilizar dados gerados em tempo
real)?
• Você precisa de uma bilioteca madura e disponível no
mercado há alguns anos que já tenha sido testada e
validada?
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Mahout
Se suas respostas forem sim, o Mahout pode atender suas
necessidades.
http://mahout.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Kafka
O Apache Kafka foi desenvolvido pelo LinkedIn e
posteriormente liberado como um projeto open-source,
em 2011.
http://kafka.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Kafka
O Apache Kafka é um sistema para gerenciamento de
fluxos de dados em tempo real, gerados a partir de web
sites, aplicações e sensores.
http://kafka.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Kafka
Essencialmente, o Kafka age como uma espécie de
“sistema nervoso central”, que coleta dados de alto volume
como por exemplo a atividade de usuários (clicks em um
web site), logs, cotações de ações etc… e torna estes dados
disponíveis como um fluxo em tempo real para o consumo
http://kafka.apache.org
por outras aplicações.
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Kafka
http://kafka.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Kafka
O Apache Kafka foi desenvolvido com um propósito
específico em mente: servir como um repositório central
de fluxos de dados.
http://kafka.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Kafka
O Apache Kafka foi desenvolvido com um propósito
específico em mente: servir como um repositório central
de fluxos de dados.
Mas por que fazer isso?
http://kafka.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Kafka
O Apache Kafka foi desenvolvido com um propósito
específico em mente: servir como um repositório central
de fluxos de dados
Mas por que fazer isso?
http://kafka.apache.org Havia duas motivações.
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Kafka
Integração dos dados
Baixa latência
http://kafka.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Kafka
O Apache Kafka está ajudando a mudar a forma como os
dados são usados dentro das empresas.
Não faz mais sentido falar apenas em dados armazenados
em tabelas, com linhas e colunas.
http://kafka.apache.org
www.datascienceacademy.com.br Data Science Academy
Ecossistema Hadoop
Apache Kafka O Apache Kafka está ajudando a mudar a forma como os
dados são usados dentro das empresas.
Não faz mais sentido falar apenas em dados armazenados
em tabelas, com linhas e colunas.
O volume de dados agora é tão grande, que os dados
http://kafka.apache.org precisam ser vistos como o que realmente são: um fluxo
constante, que precisa ser analisado em tempo real.
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais
com Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Por que usar soluções comerciais com Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Por que usar soluções comerciais com Hadoop?
Você pode estar se perguntando:
Se o Hadoop é livre, porque eu usaria soluções comerciais do software?
• Suporte – as principais soluções comerciais do Hadoop oferecem
suporte, guias, assistência e melhores práticas.
• Confiança – sempre que um bug é detectado, as soluções comerciais
prontamente atualizam o software.
• Pacote completo – as soluções oferecem pacotes completos, com
tudo que é necessário para uma infraestrutura de Big Data.
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Principais Soluções Comerciais com Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Principais Soluções Comerciais com Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
EMR
Amazon Elastic MapReduce
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
A distribuição Hadoop da Amazon, foi uma das primeiras
distribuições comerciais do Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
AWS Elastic MapReduce é uma plataforma de análise de
dados bem organizada e construída sobre a arquitetura HDFS
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Com foco principal em consultas de mapeamento / redução o AWS
EMR explora ferramentas Hadoop, fornecendo uma plataforma de
infraestrutura escalável e segura para seus usuários
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Amazon Web Services EMR está entre uma das distribuições
comerciais do Hadoop com a maior participação no mercado global
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
https://aws.amazon.com/elasticmapreduce
www.datascienceacademy.com.br Data Science Academy
Soluções
Comerciais
com
Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Cloudera Hadoop está entre os grandes fornecedores
do Hadoop, pois possui uma plataforma confiável
para uso comercial desde 2008
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Cloudera, fundada por um grupo de engenheiros do Yahoo,
Google e Facebook, está focada em fornecer soluções
empresariais do Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Cloudera Hadoop possui mais de 350 clientes, incluindo o
Exército dos EUA, AllState e Monsanto
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Alguns deles com implantação de 1000 nós em um cluster
Hadoop para análise de dados de cerca de um Petabyte
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Cloudera utiliza produtos 100% open-source
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Cloudera utiliza produtos 100% open-source
• Apache Hadoop
• Apache Pig
• Apache Hive
• Apache HBase
• Apache Sqoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Cloudera possui um sistema amigável de gestão, chamado
Cloudera Manager, para gestão de dados e que possui suporte
técnico
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
http://www.cloudera.com
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Hortonworks Data Platform (HDP) é uma suite de funcionalidades
essenciais para implementação do Hadoop, que pode ser usado
para qualquer plataforma tecnológica de dados
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
O principal objetivo da Hortonworks é conduzir todas as suas
inovações através da plataforma Hadoop e construir um
ecossistema de parceiros que acelere o processo de adoção do
Hadoop entre as empresas
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Apache Ambari é um exemplo de console de gerenciamento de
cluster Hadoop desenvolvido pelo fornecedor Hortonworks para a
gestão e monitoramento de clusters Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
A Hortonworks Hadoop tem atraído mais de 60 novos clientes a
cada trimestre com algumas contas gigantes como Samsung,
Spotify, Bloomberg e eBay
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
A Hortonworks tem atraído fortes parcerias de engenharia com
RedHat, Microsoft, SAP e Teradata
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
http://hortonworks.com
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
MapR Data Platform suporta mais de 20 projetos open-source
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
MapR foi reconhecida amplamente por suas distribuições
avançadas em Hadoop, no relatório do Gartner "Super
Vendedores em Infraestrutura da Informação e Big Data, 2012"
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
MapR foi projetada tendo em mente as operações de TI
em Data Centers
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
A MapR permite a utilização de aplicações baseadas em Hadoop
e Spark, para atender às necessidades críticas de negócio, que
operam 24x7
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
A MapR suporta amplamente processamento de dados em
batch ou streaming de dados em tempo real
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
https://www.mapr.com
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Distribuição
Comercial
Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Pivotal HD é uma distribuição comercial do Hadoop. Ele consiste
em um conjunto de ferramentas que visam acelerar projetos de
análise de dados e expandir as funcionalidades do Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Possui capacidade de análise em tempo real e decisões de
processos de negócio podem ser tomadas quase que
imediatamente à análise de dados
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Pivotal Big Data suite fornece um motor SQL nativo para o
Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Possui ainda suporte para processamento de Big Data em
memória, o que acelera o processamento de dados
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
http://pivotal.io
www.datascienceacademy.com.br Data Science Academy
Soluções
Comerciais com
Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Azure HDInsight é uma distribuição Apache
Hadoop distribuída em Cloud
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
O Azure HDInsight consegue lidar com
quantidades de dados, de terabytes até petabytes,
permitindo a inclusão de nodes sob demanda
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Por ser 100% Apache Hadoop, o HDInsight pode
processar dados semi-estruturados ou não-
estruturados, tais como clicks em páginas web, posts
em mídia social, logs de servidores, dados de
sensores, etc…
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
O HDInsight também possui extensões para
programação em C#, Java e .NET, que podem ser
usadas para criar, configurar, submeter e monitorar
jobs Hadoop
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
Por ser integrado com Excel®, o HDInsight permite
visualizar e analisar dados do Hadoop, de forma
que seja familiar aos usuários finais
www.datascienceacademy.com.br Data Science Academy
Soluções Comerciais com Hadoop
https://azure.microsoft.com/en-us/services/hdinsight
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache
Spark
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
http://spark.apache.org
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Apache Spark é um engine rápido e de uso geral
http://spark.apache.org para processamento de dados em larga escala
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
É significantemente mais veloz que o Hadoop
http://spark.apache.org MapReduce e vem ganhando popularidade
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Utiliza o Hadoop (HDFS) como base, mas pode
http://spark.apache.org ser usado com Cassandra, HBase e MongoDB
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Pode ser usado com linguagens
http://spark.apache.org Python, R, Scala e Java
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Usado por empresas como Globo.com, Yelp,
http://spark.apache.org Washington Post, Yahoo e Twitter
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Sua velocidade de execução pode ser até
Velocidade 100x mais rápido que o Hadoop
MapReduce em memória e 10x em disco
Aplicações podem ser escritas em Java,
Facilidade de uso
Scala, R e Python
Combina SQL Streaming e análise
complexa, além do uso de ferramentas
Generalidade de alto nível como Spark SQL, MLlib para
Machine Learning, GraphX e Spark
Streaming
Executa sobre o YARN cluster manager e
Integração com
permite leitura e escrita de dados no
Hadoop
HDFS
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Spark é um projeto open source,
mantido por uma comunidade
http://spark.apache.org de desenvolvedores que foi
criado em 2009 na Universidade
da Califórnia, Berkeley
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Os desenvolvedores estavam trabalhando
com Hadoop MapReduce e perceberam
http://spark.apache.org
ineficiências na execução de computação
iterativa
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Em pouco tempo, Apache Spark tem se tornado
o mecanismo de processamento de Big Data
http://spark.apache.org para a próxima geração e está sendo aplicado
em todo o mercado de dados mais rápido do
que nunca
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
O Apache Spark oferece basicamente
http://spark.apache.org 3 principais benefícios:
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
1- Facilidade de uso – é possível desenvolver
API’s de alto nível em Java, Scala, Python e R,
http://spark.apache.org que permitem focar apenas no conteúdo a ser
computado, sem se preocupar com
configurações de baixo nível e extremamente
técnicas.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
2- Velocidade – Spark é veloz, permitindo uso
iterativo e processamento rápido de
algoritmos complexos. Velocidade é uma
característica especialmente importante no
processamento de grandes conjuntos de dados
http://spark.apache.org
e pode fazer a diferença entre analisar os
dados de forma interativa ou ficar aguardando
vários minutos pelo fim de cada
processamento. Com Spark, o processamento
é feito em memória.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
3- Uso geral – Spark permite a utilização de
diferentes tipos de computação, como
processamento de linguagem SQL (SQL Spark),
processamento de texto, Machine
http://spark.apache.org
Learning (MLlib) e processamento de grafos
(GraphX). Estas características fazem do Spark
uma excelente opção para projetos de Big
Data.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
O projeto Spark contém diversos
componentes integrados. Basicamente,
Spark é um engine de computação,
http://spark.apache.org responsável por agendar, distribuir e
monitorar aplicações de diversas tarefas de
processamento através de diferentes
servidores em cluster.
www.datascienceacademy.com.br Data Science Academy
Spark Framework
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Spark Contém as funcionalidades básicas do Spark, incluindo
componentes para agendamento de tarefas, gestão de
Core memória, recuperação de falha e sistemas de
armazenamento.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Spark Spark SQL é um pacote para tarefas com dados
estruturados. Ele permite realizar queries nos dados através
SQL de linguagem SQL, além de suportar diversas fontes de
dados como Hive e JSON.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Spark Esse é um componente do framework Spark para
Streaming processamento de streams de dados em tempo real.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Spark A biblioteca MLlib é uma funcionalidade
MLlib para Machine Learning.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Spark O GraphX é um biblioteca para manipulação de
GraphX grafos e computação em paralelo.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
O resultado de um projeto de Big Data, pode
ser a criação de um sistema de análise de
http://spark.apache.org
dados em tempo real, que pode se tornar o
componente de uma aplicação de negócio.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Quando se trata de Hadoop e Spark, duas perguntas são frequentes:
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Quando se trata de Hadoop e Spark, duas perguntas são frequentes:
1- Já estou usando Hadoop, devo usar o Spark?
x
2- Estou pensando em usar o Hadoop, devo desistir e usar o Spark?
Vamos investigar as diferenças entre Hadoop e Spark e responder
estas perguntas!
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
O Hadoop é a plataforma original do Big
Data, que tem sido usado e testado no
mercado. Permite trabalhar com
Petabytes de dados, habilitando a análise O Hadoop possui um ecossistema
de quantidades massivas de dados. bem definido que permite estender
suas funções, como no caso da
utilização do Pig, Hive e HBase.
x
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
A verdade é que criaram o Hadoop para processar grandes volumes de dados em batch.
Mas e se o volume de dados não for tão grande assim?
E se o volume de dados estiver em streaming, ou seja, fluxo contínuo de dados?
O Hadoop MapReduce possui limitações e não atende a alguns requisitos cada vez mais
importantes:
• Programação iterativa (Machine Learning, Algoritmos, etc…)
• E streaming de dados
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Engine de computação em cluster
• Veloz – em memória os dados são processados ate 100x mais
rápido que no MapReduce
• Propósito geral – SQL, Streaming, Machine Learning
• Compatibilidade – Hadoop, Mesos, Yarn, Standalone, HDFS,
S3, Cassandra, HBase
• Mais fácil e simples
É a primeira plataforma de Big Data a integrar batch, streaming e
computação interativa em um único framework
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Hadoop Spark
Armazenamento distribuído + Computação Somente computação distribuída
distribuída
Framework MapReduce Computação genérica
Normalmente processa dados em disco Em disco / Em memória
(HDFS)
Não é ideal para trabalho iterativo Excelente para trabalhos iterativos (Machine
Learning)
Até 10x mais rápido para dados em disco
Processo batch Até 100x mais rápido para dados em
memória
Basicamente Java Suporta Java, Python, Scala
Não possui um shell unificado Shell para exploração ad-hoc
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Então o Spark vai substituir o Hadoop
Não.
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Então o Spark vai substituir o Hadoop Não.
• Spark executa sobre o HDFS / YARN
• Pode acessar o HDFS
• Usa YARN para gerenciamento do cluster
• Spark é realmente bom quando os dados podem ser processados em memória
Mas e quando não podem (por exemplo, gigantescos volumes de dados)?
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Hadoop Spark
Processamento batch Hadoop MapReduce (Java, Pig, Spark RDD (Java, Python, Scala)
Hive)
Query SQL Hadoop: Hive Spark SQL
Processamento Stream / Storm, Kafka Spark Streaming
Processamento em Tempo Real
Machine Learning Mahout Spark ML Lib
Algoritmos iterativos Lento Muito rápido (em memória)
Pig com Spark ou Mix de Spark
Workflow ETL Pig, Flume
SQL e programação RDD
Volume médio (Gigabytes /
Volume de Dados Volume gigante (Petabytes)
Terabytes)
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
www.datascienceacademy.com.br Data Science Academy
Introdução ao Apache Spark
Você já usa Hadoop?
• Tente o Spark para processar dados no
HDFS
Você ainda não usa Hadoop?
• Tente o Spark
www.datascienceacademy.com.br Data Science Academy
Apache Storm
http://storm.apache.org
www.datascienceacademy.com.br Data Science Academy
Apache Storm
O Apache Storm se tornou o padrão para
processamento em tempo real distribuído e permite
processar grandes quantidades de dados
www.datascienceacademy.com.br Data Science Academy
Apache Storm
O Apache Storm foi desenvolvido em Java
www.datascienceacademy.com.br Data Science Academy
Apache Storm
Foi criado para processar grandes quantidades de
dados em ambientes tolerantes a falhas e escaláveis
www.datascienceacademy.com.br Data Science Academy
Apache Storm
Basicamente, o Storm é um framework para
Streaming de dados (fluxo contínuo de dados) e
possui uma alta taxa de ingestão de dados
www.datascienceacademy.com.br Data Science Academy
Apache Storm
A gestão do estado do cluster é feita através do
Zookeeper
www.datascienceacademy.com.br Data Science Academy
Apache Storm
O Storm é simples e você pode executar todos os tipos
de manipulação de dados em tempo real, em paralelo
www.datascienceacademy.com.br Data Science Academy
Apache Storm
O Apache Storm é um dos líderes em Real-Time Analytics
www.datascienceacademy.com.br Data Science Academy
Apache Storm
Principais benefícios de se utilizar o Storm:
• Storm é open-source, robusto e amigável (fácil utilização)
• Tolerante a falhas, flexível, confiável e suporta diversas linguagens
de programação
• Processa dados em tempo-real
• Storm é incrivelmente veloz
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Bancos de Dados tradicionais RDBMS
(Relational Database Management
Systems) são foram projetados para
tratar grandes quantidades de dados
não-estruturados (Big Data)
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Bancos de Dados tradicionais foram
projetados somente para tratar conjuntos
de dados que possam ser armazenados
em linhas e colunas e portanto, possam
ser consultados através do uso de queries
utilizando linguagem SQL (Structured
Query Language)
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Bancos de Dados relacionais não
são capazes de tratar dados não-
estruturados ou semi-estruturados
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Ou seja, Bancos de Dados relacionais
simplesmente não possuem
funcionalidades necessárias para atender
os requisitos do Big Data, dados gerados
em grande volume, alta velocidade e
variedade
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Esta lacuna está sendo preenchida por
Bancos de Dados NoSQL
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Bancos de Dados NoSQL, são bancos de dados
distribuídos e não-relacionais, que foram projetados
para atender os requerimentos do Big Data
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Bancos de Dados NoSQL oferecem uma arquitetura
muito mais escalável e eficiente que os bancos
relacionais e facilitam consultas no-sql de dados
semi-estruturados ou não-estruturados
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Existe alguma discussão sobre o significado de NoSQL.
Alguns afirmam que a sigla significa Not Only SQL, enquanto outros afirmam que
significa Non-SQL. Não há um consenso sobre isso. Mas pense sobre NoSQL como uma
classe de banco de dados não-relacionais que não se enquadram na classificação de
bancos de dados relacionais (RDBMS), que utilizam linguagem SQL.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Embora o modelo relacional e a Structured Query
Language (SQL) foram por décadas o padrão para
armazenamento de dados, é fato que os bancos
de dados relacionais não são mais os vencedores
quando se trata de flexibilidade e escalabilidade
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Isto tornou-se verdadeiro especialmente com o
advento das redes sociais e Internet das Coisas
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
A este respeito, NoSQL surgiu como um paradigma
não-tradicional para lidar com grandes volumes de
dados e para resolver os desafios colocados pela
chegada de implementações de Big Data
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Atualmente, bancos de dados NoSQL como
MongoDB, Cassandra e CouchDB introduzem novas
características e funcionalidades, trazendo ainda
mais inovação e resultados supreendentes
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Bancos de Dados NoSQL oferecem 4 categorias principais de
bancos de dados:
• Graph databases
• Document databases
• Key-values stores
• Column family stores
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Esta categoria de Bancos de Dados NoSQL, geralmente é
aderente a cenários de rede social online, onde os nós
representam as entidades e os laços representam as
Graph interconexões entre eles.
Databases
Desta forma, é possível atravessar o grafo seguindo as
relações. Esta categoria têm sido usada para lidar com
problemas relacionados a sistemas de recomendação e listas
de controle de acesso, fazendo uso de sua capacidade de lidar
com dados altamente interligados.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Esta categoria de Bancos de Dados NoSQL permite o
armazenamento de milhões de documentos.
Document Por exemplo, você pode armazenar detalhes sobre um
Databases empregado, junto com o currículo dele (como um documento)
e então pesquisar sobre potenciais candidatos a uma vaga,
usando um campo específico, como telefone ou conhecimento
em uma tecnologia.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Nesta categoria, os dados são armazenados no formato
key-value (chave-valor) e os valores (dados) são
identificados pelas chaves.
Key-Value
Store
É possível armazenar bilhões de registros de forma
eficiente e o processo de escrita é bem rápido. Os dados
podem ser então pesquisados através das chaves
associadas.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Também chamados bancos de dados orientados a coluna,
os dados são organizados em grupos de colunas e tanto o
Column Family armazenamento, quando as pesquisas de dados são
Store baseados em chaves.
HBase e Hypertable são os exemplos mais comuns desta
categoria.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Os principais Bancos de Dados NoSQL são:
Neo4J Oracle NoSQL DB
FlockDB MemcacheDB
Graph Key-value
GraphDB Redis
ArangoDB AWS DynamoDB
MongoDB HBase
CouchDB Cassandra*
Document Column
RavenDB Hypertable
Terrastore Accumulo
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Para uma lista completa de Bancos de Dados NoSQL visite:
http://nosql-database.org
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Como NoSQL oferece funcionalidades nativas para cada uma destas
categorias, ele se torna uma alternativa eficiente para armazenamento
e consulta para a maioria dos dados não-relacionais
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Esta adaptabilidade e eficiência, tem transformado os bancos de dados NoSQL
em uma excelente solução para tratar Big Data e superar os problemas
relacionados ao processamento de grandes volumes de dados
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
E por que usar bancos de dados NoSQL?
• Representação de dados sem esquema
• Tempo de desenvolvimento
• Velocidade
• Escalabilidade
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
MongoDB é um banco de dados orientado a
documento, uma das categorias de bancos de
dados NoSQL.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Um bancos de dados NoSQL orientado a
documento, substitui o conceito de ”linha” como
em bancos de dados relacionais, por um modelo
mais flexível, o ”documento”.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
o MongoDB é open-source e um dos líderes no
segmento de bancos de dados NoSQL. Ele foi
desenvolvido em linguagem C++.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Algumas das principais características do MongoDB:
• Indexação
O MongoDB suporta índices secundários, permitindo a
construção de queries mais velozes.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Algumas das principais características do MongoDB:
• Agregação
O MongoDB permite a construção de agregações complexas de
dados, otimizando o desempenho.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Algumas das principais características do MongoDB:
• Tipos de dados especiais
O MongoDB suporta coleções time-to-live para dados que
expiram em um determinado tempo, como sessões por exemplo.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Algumas das principais características do MongoDB:
• Armazenamento
O MongoDB suporta o armazenamento de grandes quantidades
de dados.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Algumas características presentes em bancos de dados relacionais,
não estão presentes no MongoDB, como alguns tipos de joins e
transações multi-linha.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
MongoDB RDBMS
Database Database
Collection Table
Document Tuple/Row
Field Column
Embedded Documents Table Join
Primary Key Primary Key
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Onde usar o MongoDB?
• Big Data
• Gestão de Conteúdo
• Infraestrutura Social e Mobile
• Gestão de Dados de Usuários
• Data Hub
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Apache Cassandra é um banco de dados NoSQL, livremente
distribuído, de alta performance, extremamente escalável
e tolerante a falha.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Ele foi concebido com a premissa que falhas de sistema
ou de hardware sempre ocorrem.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Foi inicialmente desenvolvido pelo Facebook, como
uma combinação do BigTable (Google) and Dynamo
Data Store (Amazon).
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
O Cassandra é usado para armazenar gigantescas
quantidades de dados (Big Data), de forma rápida.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
O Cassandra também funciona muito bem quando se
faz necessário a pesquisa de dados de forma indexada.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
É voltado para trabalhar em clusters, sendo totalmente
escalável. Novos nodes podem ser adicionados, à
medida que os dados crescem.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
É ainda uma excelente solução quando se necessita de
alta performance para leitura e escrita.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Algumas empresas/websites que usam o Cassandra:
eBay, GitHub, GoDaddy, Instagram, Netflix, Reddit,
CERN, Comcast, entre outras.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
http://cassandra.apache.org
www.datascienceacademy.com.br Data Science Academy
Banco de Dados
NoSQL
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
CouchDB é um banco de dados totalmente
voltado para a web.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
No CouchDB os dados são armazenados em
documentos JSON (Java Script Object Notation),
que consistem em campos que podem ser strings,
números, datas, listas ordenadas e mapas
associativos.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
O CouchDB suporta aplicativos web e mobile.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
O CouchDB é distribuído em pares com um server
e um client, que podem ter cópias independentes
do mesmo banco de dados.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
O Apache CouchDB foi o banco de dados que deu
o pontapé inicial do movimento NoSQL.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
Ele foi construído a partir do zero com alto
desempenho e tolerância a falhas em mente.
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
CouchDB permite aos usuários armazenar, reproduzir,
sincronizar e processar grandes quantidades de dados
(Big Data), distribuídos em dispositivos móveis,
servidores, Data Centers e regiões geográficas distintas
em qualquer configuração de implantação, incluindo
ambiente em nuvem (Cloud).
www.datascienceacademy.com.br Data Science Academy
Banco de Dados NoSQL
http://couchdb.apache.org
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data?
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
Manufatura
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
Finanças
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
Saúde
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
Varejo
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
A companhia de entretenimento em cassinos está usando
o ambiente Hadoop para identificar diferentes segmentos
de consumidor e criar campanhas de marketing
http://caesarscorporate.com específicas para cada um deles.
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
O novo ambiente reduziu o tempo de processamento de 6
horas para 45 minutos para posições-chave. Isso permitiu à
Caesars promover uma análise de dados mais rápida e
exata, aprimorando a experiência de consumidor e fazendo
http://caesarscorporate.com com que a segurança atendesse os requisitos do setor de
pagamentos com cartões.
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
A empresa agora processa mais de 3 milhões de registros por hora.
http://caesarscorporate.com
www.datascienceacademy.com.br Data Science Academy
Como as
Empresas Estão
Utilizando o Big
Data
http://www.cerner.com
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
A empresa de tecnologia para o setor de saúde
construiu um hub de dados corporativos no CDH
(Cloudera Distribution), para criar uma visão mais
compreensível de qualquer paciente, condição ou
http://www.cerner.com tendência.
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
A tecnologia ajuda a Cerner e seus clientes a
monitorarem mais de 1 milhão de pacientes
diariamente.
http://www.cerner.com
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
Entre outras coisas, ela colabora na determinação
mais exata da probabilidade de um paciente estar
com infecção em sua corrente sanguínea.
http://www.cerner.com
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
O site de namoro online recentemente atualizou seu
ambiente na nuvem, usando o CDH para analisar um
volume massivo e variado de dados.
http://www.eharmony.com.br
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
A tecnologia ajuda a eHarmony a disponibilizar novas
combinações a milhões de pessoas diariamente.
http://www.eharmony.com.br
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
O novo ambiente cloud acomoda análises mais
complexas, criando resultados mais personalizados e
http://www.eharmony.com.br
aumentando a chance de sucesso nos relacionamentos.
www.datascienceacademy.com.br Data Science Academy
Como as
Empresas Estão
Utilizando o Big
Data
http://www.mastercard.com/br
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
A empresa foi a primeira a implementar a
distribuição CDH do Hadoop após receber
certificação PCI completa.
http://www.mastercard.com/br
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
A companhia usou os servidores Intel para integrar
conjuntos de dados a outros ambientes já certificados.
http://www.mastercard.com/br
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
A MasterCard incentiva seus clientes a adotarem o
sistema através do seu braço de serviços profissionais,
o MasterCard Advisors.
http://www.mastercard.com/br
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
https://farmlogs.com
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
A companhia de software para gerenciamento de
produções agrícolas usa analytics em tempo real
rodando nos processadores Intel Xeon E5 para fornecer
dados sobre colheita, condições de plantio e estado da
https://farmlogs.com
vegetação para 20% das fazendas americanas.
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
A tecnologia ajuda os fazendeiros a aumentarem a
produtividade de seus acres.
https://farmlogs.com
www.datascienceacademy.com.br Data Science Academy
Como as
Empresas Estão
Utilizando o Big
Data
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
Uma das maiores fornecedoras de tinta da Ásia usa os
processadores Intel Xeon E7 v2 para compreender o
comportamento de clientes, otimizar sua cadeia de
suprimentos e melhorar suas campanhas de marketing.
http://www.nipponpaint.com
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
A Nippon Paint agora testa um novo sistema baseado no
Hadoop para usufruir das ferramentas de alto desempenho
e processar Big Data.
http://www.nipponpaint.com
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
Outras empresas usando Hadoop:
Empresa Especificações Técnicas Utilização
Hadoop é utilizado em soluções de relatórios e Machine
Facebook Mais de 12 TB de storage
Learning
Hadoop é usado desde 2010 para o processamento de logs
Twitter --
e tweets
Todos os dados do LinkedIn passam através de um cluster
LinkedIn 4100 nodes Hadoop
Hadoop
4500 nodes Hadoop e mais
Yahoo! Usado no portal do Yahoo
de 1 TB de storage
Um dos maiores clusters Hadoop que se tem notícia, usado
Ebay 4000 nodes Hadoop para processar as mais de 300 milhões de pesquisas feitas
pelos usuários
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
Outras empresas usando Hadoop:
Empresa Especificações Técnicas Utilização
Projetos de Big Data na área financeira,
Accenture De acordo com a demanda do cliente
telecom e varejo
Plataforma de Rede Social, utiliza o Hadoop
Ning --
para relatórios e Big Data Analytics
690 nodes em cluster Hadoop,
Usa Hadoop para geração de conteúdo e
Spotify totalizando 38 TB de memória RAM e 28
agregação de dados
PB de storage
Fox 70 nodes Hadoop Usado para análise de logs e Machine Learning
www.datascienceacademy.com.br Data Science Academy
Como as Empresas Estão Utilizando o Big Data
O Hadoop já é realidade!
www.datascienceacademy.com.br Data Science Academy
Como Iniciar um Projeto de Big Data?
1. Definição do Business Case
2. Planejamento do Projeto
3. Definição dos Requisitos Técnicos
4. Criação de um “Total Business Value Assessment”
www.datascienceacademy.com.br Data Science Academy
Big Data
Data Science
Academy
Fundamentos 2.0
O futuro é aqui.
www.datascienceacademy.com.br Data Science Academy
Conteúdo Programático
Seja Muito Bem-Vindo(a)!
Conteúdo do Curso
Visão geral de conceitos e definições que permitam
uma compreensão clara do que é o universo do Big
Data para que você possa avançar sua carreira nesta
vibrante área.
10 Encerramento
www.datascienceacademy.com.br Data Science Academy
Chegamos ao final do curso!
Encerramento
www.datascienceacademy.com.br Data Science Academy
Encerramento
O Brasil carece de profissionais capacitados em Big Data e que sejam capazes de
construir e administrar um ambiente para coleta, armazenamento, limpeza,
transformação e análise de dados.
www.datascienceacademy.com.br Data Science Academy
Encerramento
E qual o Próximo Passo?
www.datascienceacademy.com.br Data Science Academy
Encerramento
• Introdução à Ciência de Dados
• Python Fundamentos Para Análise de Dados
• Microsoft Power BI Para Data Science
• Formação Cientista de Dados
• Formação Inteligência Artificial
• Formação JAVA
• Formação Engenheiro de Dados
• Cursos Individuais
www.datascienceacademy.com.br Data Science Academy
Encerramento
• Linguagem de programação para análise de dados (R, Python, Scala ou Java)
• Matemática e Estatística
• Algoritmos de Machine Learning
• Visualização de Dados
• Análise de dados distribuídos em Cluster
• Hadoop, Spark, Bancos de Dados NoSQL
www.datascienceacademy.com.br Data Science Academy
Encerramento
Fique tranquilo,
Estamos aqui para ajudá-lo!
www.datascienceacademy.com.br Data Science Academy
Encerramento
E sua opinião é muito importante para nós!
Mande suas críticas e sugestões!
Você tem um canal direto conosco:
[email protected]
www.datascienceacademy.com.br Data Science Academy
Encerramento
Lembre-se de fazer a avaliação final para
obter seu certificado.
www.datascienceacademy.com.br Data Science Academy
Encerramento
Muito obrigado pela sua
audiência neste curso e
espero que tenhamos
ajudado você na sua
carreira!
www.datascienceacademy.com.br Data Science Academy
Você também pode gostar
- Aula Capítulo 1 - Definição e Fundamentos Do Big DataAinda não há avaliaçõesAula Capítulo 1 - Definição e Fundamentos Do Big Data52 páginas
- DoBancoDeDadosRelacionalATomadaDeDecisao PDFAinda não há avaliaçõesDoBancoDeDadosRelacionalATomadaDeDecisao PDF286 páginas
- Vizualização de Dados Fundamentos e Técnicas Aula 1Ainda não há avaliaçõesVizualização de Dados Fundamentos e Técnicas Aula 176 páginas
- Guide To Data Analytics & Machine Learning PortugueseAinda não há avaliaçõesGuide To Data Analytics & Machine Learning Portuguese29 páginas
- Big Data em Finanças: Aplicações e Benefícios100% (3)Big Data em Finanças: Aplicações e Benefícios30 páginas
- Data Warehouse: Conceito e VantagensAinda não há avaliaçõesData Warehouse: Conceito e Vantagens5 páginas
- Allyson - Monografia Ferramentas de Business Intelligence Como Garantia de Diferencial CompetitivoAinda não há avaliaçõesAllyson - Monografia Ferramentas de Business Intelligence Como Garantia de Diferencial Competitivo45 páginas
- Ferramentas ETL, Pentaho, MapReduce e Hadoop EbookAinda não há avaliaçõesFerramentas ETL, Pentaho, MapReduce e Hadoop Ebook71 páginas
- TOR12CF1 - Oracle 12c - Fundamentals I - SQL e SQL (Versão 2015)100% (1)TOR12CF1 - Oracle 12c - Fundamentals I - SQL e SQL (Versão 2015)416 páginas
- Planejamento Estratégico e Business IntelligenceAinda não há avaliaçõesPlanejamento Estratégico e Business Intelligence12 páginas
- Introdução À Ciência de Dados - Mineração de Dados e Big DataAinda não há avaliaçõesIntrodução À Ciência de Dados - Mineração de Dados e Big Data1 página
- ETL - Extração Transformação e Carga de Dados100% (1)ETL - Extração Transformação e Carga de Dados34 páginas
- SistemasApoioDecisao BaseadosDataWarehouse PDF100% (1)SistemasApoioDecisao BaseadosDataWarehouse PDF214 páginas
- Aulas Capítulo 1 - Introdução - Conceitos e Principais Termos ETL100% (1)Aulas Capítulo 1 - Introdução - Conceitos e Principais Termos ETL60 páginas
- Trilha de Aprendizagem Da Formação Analista de Dados 4.0 - Data Science AcademyAinda não há avaliaçõesTrilha de Aprendizagem Da Formação Analista de Dados 4.0 - Data Science Academy8 páginas
- Trilha de Aprendizagem Da Formação Cientista de Dados 4.0 - Data Science AcademyAinda não há avaliaçõesTrilha de Aprendizagem Da Formação Cientista de Dados 4.0 - Data Science Academy12 páginas
- Ementa Pos Graduacao em Data Science e Machine LearningAinda não há avaliaçõesEmenta Pos Graduacao em Data Science e Machine Learning14 páginas
- Trilha de Aprendizagem Da Formação Engenheiro de Dados 4.0 - Data Science AcademyAinda não há avaliaçõesTrilha de Aprendizagem Da Formação Engenheiro de Dados 4.0 - Data Science Academy8 páginas
- Curso Gratuito de Power BI em PortuguêsAinda não há avaliaçõesCurso Gratuito de Power BI em Português82 páginas
- EBAC - Profissão - Cientista DadosAinda não há avaliaçõesEBAC - Profissão - Cientista Dados10 páginas
- Apostila Atualizada (01 de Março de 2017) PDFAinda não há avaliaçõesApostila Atualizada (01 de Março de 2017) PDF97 páginas
- Anbid CPA 10 Simulado: 200 Questões Com Gabarito55% (33)Anbid CPA 10 Simulado: 200 Questões Com Gabarito24 páginas
- Conhecimentos Bancários BRB 2019 (Parte 2) PDF100% (1)Conhecimentos Bancários BRB 2019 (Parte 2) PDF186 páginas
- AVALIAÇÃO - 60 Questões - SEGURANÇA NO TRABALHO100% (1)AVALIAÇÃO - 60 Questões - SEGURANÇA NO TRABALHO20 páginas
- Porca Sextavada - METÁLICA TABELAS - Met@licaAinda não há avaliaçõesPorca Sextavada - METÁLICA TABELAS - Met@lica2 páginas
- 04-Flex Esquemas Eletricos Dos Austos Flexiveis PDF100% (1)04-Flex Esquemas Eletricos Dos Austos Flexiveis PDF15 páginas
- Check List de Áreas de Vivência NR 18Ainda não há avaliaçõesCheck List de Áreas de Vivência NR 182 páginas
- Apresentação Relé de Proteção - VAMP11F PDFAinda não há avaliaçõesApresentação Relé de Proteção - VAMP11F PDF18 páginas
- Manual Técnico Dos Acoplamentos MecânicosAinda não há avaliaçõesManual Técnico Dos Acoplamentos Mecânicos53 páginas
- Manual Salient Sistema de InjecaoAinda não há avaliaçõesManual Salient Sistema de Injecao113 páginas
- Planejamento de Operações FerroviáriasAinda não há avaliaçõesPlanejamento de Operações Ferroviárias17 páginas
- Apostila Instalacao E Manutencao de Motores EletricosAinda não há avaliaçõesApostila Instalacao E Manutencao de Motores Eletricos90 páginas
- Análise de Risco: Guindaste e MunckAinda não há avaliaçõesAnálise de Risco: Guindaste e Munck7 páginas
- Guia de Instalação de TermoacumuladoresAinda não há avaliaçõesGuia de Instalação de Termoacumuladores8 páginas
- Materiais Electricos e Sua AplicaçãoAinda não há avaliaçõesMateriais Electricos e Sua Aplicação16 páginas
- 2 Lista de Exercícios - Cálculo NuméricoAinda não há avaliações2 Lista de Exercícios - Cálculo Numérico2 páginas