BIG DATA

CONCEITOS
- Essa expressão foi criada por John Mashey em 1990
- Esse termo descreve o imenso volume de dados existente
- Dados grandes e complexos
- Quantidade de dados que são gerados a cada instante
- Relacionado aos dados de todo o mundo
- Não trata apenas de um banco de dados local
- Os dados seguem diversas estruturas, formatos e tamanhos
- Os dados são provenientes de diferentes fontes
- Televisão, Rádio, Internet, Celular, Redes Sociais, Banco de Dados de uma organização,
Eletrodomésticos, Sensores, Câmeras...
- Também relacionada ao gerenciamento desses dados
- As tecnologias para processar e tratar esses dados QST
- Antigamente não era possível gerenciar esse volume de dados
- Tecnologias muito simples
- Hoje em dia uma das maiores fontes é a internet
- Ex.: Messengers, redes sociais, sites de pesquisas, páginas...
- É possível extrair diversos tipos de informações da bigdata
- É um enorme campo para ações de marketing
- Encontrar interesses dos usuários
- Tendências entre pessoas e empresas
- Direcionar campanhas específicas

CLASSIFICAÇÕES TÉCNICAS:
- Dado de grande tamanho, ao nível que sua manipulação e gerenciamento apresenta desafios
significativos a logística.
- Dado que excede a capacidade de processamento convencional dos sistemas de bancos de dados.
- Habilidade da sociedade de aproveitar a informação por maneiras que produzem introspecção úteis
ou bens e serviços de valores significantes.
- Nova geração de tecnologias e arquiteturas, projetadas economicamente para extrair valor de
volumes grandes e vastos de dados, permitindo alta velocidade de captura, descoberta e análise.
- Termo geral para a enorme quantidade de dados digitais coletados a partir de todos os tipos de
fontes.
- Conjunto de dados ao longo do tempo, dados estes que são grandes demais para serem
manipulados por infraestruturas de armazenamento e processamento regulares.
- Dados demasiadamente volumosos ou muito desestruturados para serem gerenciados e analisados
através de meios tradicionais.
- Conjunto de dados cujo tamanho está além da habilidade de ferramentas típicas de banco de dados
em capturer, gerenciar e analisar.

TIPOS DE DADOS
- Os dados podem ser estruturados ou não

DADOS ESTRUTURADOS
- Dados que possuem padrões, regras e formatos:
- Para criação, utilização, exibição e armazenamento
 - Geralmente são classificações de linhas e colunas (tabelas)
- Normalmente ocupam menos espaços de armazenamento
- Exemplos: Banco de Dados, planilhas (Excel e Calc), arquivos CSV...

DADOS NÃO ESTRUTURADOS

- Dados que não seguem padrões, formatos, regras...
- São arquivos de diversas estruturas
- Textos diversos: sites, relatórios, documentos, mensagens de WhatsApp...
- Arquivos de áudio, vídeos, fotos, PDF...
- Redes sociais, blogs, Facebook, Twitter, Instagram...
- Os sistemas podem compreendê-los e organizá-los
- É possível converter para dados estruturados
- É a grande maioria dos dados da bigdata

DADOS SEMI-ESTRUTURADOS
- São os dados que apresentam formatações heterogêneas
- Dados estruturados que não seguem a estrutura formal
- Possuem estruturas mas não segue o padrão formal
- Não são elementos em formatos de tabelas
- Muitas vezes a estrutura básica para os dados está implícita
- Possuem padrões flexíveis e estruturas parciais
- Apenas parte dos dados possuem alguma estrutura
- Exemplo: Dados de e-mail, NoSQL, XML, HTML...

AMBIENTES DE ARMAZENAMENTO PARA BIG DATA

- Possui vários ambientes para armazenar os dados
- Esses sistemas podem se relacionar ou não
- São as fontes de consultas e gerenciamento
- Esses ambientes podem operar automaticamente ou não
- Exemplos:
- Banco de dados relacional, Data Warehouse, Data Lake...

DATA WAREHOUSE
- Considerado um sistema de BD convencional
- Armazena informações importantes para a organização
- Dados coletados internamente ou externamente
- Auxilia na tomada de decisões
- Armazena vários tipos de dados
- Estruturados, não estruturados e semiestruturados
- Preferencialmente armazena Dados Estruturados
- São definidos os esquemas antes do armazenamento
- Armazenam um grande volume de dados.
- Os dados são tratados para serem armazenados
- Organizados, combinados, catalogados...
- Possui ferramentas mais fáceis de utilização
- Geralmente usado por usuários operacionais
- Geralmente possui custo elevado para armazenamento
- Opera com a Data Cleansing
 - Detecta, valida e corrige erros
- Aplicado a dados corrompidos ou desnecessários
- O sistema pode ser subdividido (DATA MART)
- Possui ferramentas específicas de gerenciamento e negóci
- MapReduce, OLAP...

DATA MART
- São subdivisões da Data Warehouse
- Armazenam dados específicos de cada setor
- Possui foco em um único assunto ou linha de negócios
- Facilita a organização e gerenciamento dos dados
- Consultas mais rápidas
- Dados direcionados
- Auxilia nas tomadas de decisões mais rápidas
- Considerada uma fonte confiável de dados
- Gerenciamento de dados ágil e escalável

MAPREDUCE
- Processa grandes volumes de dados (Hadoop)
- Opera os dados com ambientes paralelos

OLAP
- Online Analytical Processing
- Processo Analítico em Tempo Real
- Permite operar com grande quantidade de dados diferentes
- Consultar, alterar, analisar...
- Baseado em regras específicas de análises

DATA LAKE
- Os dados são armazenados de forma bruta
- Não passam por refinamento ou tratamento
- São armazenados da mesma forma como capturados
- Armazena vários tipos de dados
- Estruturados, não estruturados e semiestruturados
- As ferramentas são mais difíceis de usar
- Indicado para os cientistas de dados
- Esquemas de armazenamento definidos posteriormente
- Custo mais barato pelos armazenamentos
- Consomem menos tempo
- Armazena um gigantesco volume de dados

INFRAESTRUTURA DA BIG DATA

- São elementos de hardware, Software, Segurança, Pessoas...
- Atualmente a Cloud Computing é uma ótima alternativa
- Baixos custos de implementação
- Segurança, escalabilidade, suporte...
PRIMISSAS
- São os 5 V’s da BIG DATA
- Estão relacionados:
- Atributos da bigdata
- Desafios da bigdata
- Anseios da bigdata

VOLUME
- Diariamente grandes volumes de dados são criados
- Zetabytes, Yottabytes, Brontobytes...
- É preciso compreender e gerenciar esses dados
- Ferramentas e tecnologias para isso.
- Exemplos: e-mails, transações bancárias, redes sociais, chamadas telefônicas, rádio, TV...

VELOCIDADE
- Relacionado a velocidade na criação dos dados
- Os sistemas estão na busca pelos dados em tempo real
- Compreensão e tratamento dos dados mais rápidos
- Utilização dos dados antes de desatualizar, corromper...
- A velocidade na obtenção dos dados é uma vantagem
- As empresas podem ter mais vantagens que as outras

VERACIDADE
- Combater as informações falsas (Fake News)
- Essas informações podem gerar problemas
- Dados desatualizados ou incompletos também são considerados
- Para resolver isso são utilizadas ferramentas especiais
- Apurar a relevância dos dados para a empresa

VALOR
- Os dados são os bens mais preciosos de uma organização
- Dados geram valores para uma organização
- Valores financeiros, estruturais, conhecimento...
- Os dados precisam gerar importância no negócio
- Não consumir dados inúteis para a organização

VARIEDADE (VARIABILIDADE ou COMPLEXIDADE)

- Relacionado a enorme variedade dos dados existentes
- São os diversos tipos de dados existentes
- Dados possuem vários tamanhos, conteúdo, tipos...
- Desafios da BigData:
- Como tratar os dados, armazenar, utilizar...
- Desenvolver ferramentas para isso

BIG DATA ANALYTICS DE DADOS

- Tecnologia para o processamento de dados
- Estruturados, não estruturados ou semiestruturados
- O objetivo é extrair padrões de comportamento dos dados
 - Auxiliar nas ações e tomadas de decisões
- Operações de alto desempenho
- São análises com maior eficiência
- Geralmente análises preditivas
- Agrega a inteligência de algoritmos complexos
- Ferramentas completas para gerenciamento dos dados