Big data é um termo que se refere a conjuntos de dados extremamente grandes e
complexos, que crescem exponencialmente ao longo do tempo e não podem ser
eficientemente processados ou armazenados usando ferramentas convencionais de
gerenciamento de dados. Este conceito engloba as estratégias e tecnologias modernas
utilizadas para coletar, organizar e analisar esses vastos volumes de informação,
com o objetivo de extrair insights valiosos e conclusões específicas que podem ser
aplicados em diversos campos e setores.
Caracteristicas do Big Data:
- Volume
O volume é uma característica chave do Big Data. É basicamente a quantidade enorme
de dados gerados, dando o nome ao Big Data. Os sistemas de Big Data lidam com muito
mais dados que os sistemas normais, o que faz todas as etapas do processo de
análise serem mais complexas. Como tem muitos dados, geralmente precisa de vários
computadores trabalhando juntos, o que complica a organização. Por isso, são
necessários algoritmos especiais e técnicas para dividir os dados e tarefas em
pedaços menores e mais fáceis de lidar.
- Velocidade
A velocidade é outra característica que faz o Big Data se destacar. Os dados chegam
de várias fontes e precisam ser processados de maneira rápida para gerar insights
úteis. Isso fez os cientistas de dados mudarem de sistemas em lote para sistemas em
tempo real. Os dados são adicionados, processados e analisados o tempo todo pra
manter as informações relevantes. Pra dar conta disso tudo, são necessários
sistemas robustos com componentes de qualidade pra lidar com possíveis problemas no
caminho dos dados.
- Variedade
A variedade é uma característica fundamental do Big Data, pois os problemas que
surgem geralmente são únicos devido à grande diversidade tanto nas fontes
processadas quanto na qualidade relacionada a elas. Os dados podem vir de sistemas
internos, como logs de aplicativos e servidores, APIs externas, feeds de mídias
sociais e diversos outros provedores, incluindo sensores de dispositivos físicos. O
tratamento de dados no Big Data visa utilizar e processar informações relevantes e
significativas, independentemente de sua origem, ou tipo, combinando-as em um único
sistema.
Outras características:
- Veracidade: Existem desafios que podem surgir na avaliação da qualidade dos
dados, devido à variedade de fontes e às diversas complexidades no processamento.
Isso, por sua vez, pode degradar a qualidade da análise final dos dados, fazendo
necessário a implementação de outros metodos para tratar esses dados, verificando
sua veracidade.
- Variabilidade: A qualidade pode mudar por causa das diferenças nos dados. Às
vezes, precisa de mais ferramentas pra achar, tratar ou tirar os dados ruins pra
poder usar eles da maneira adequada depois.
- Valor: O Big Data eventualmente precisa entregar algum valor ao usuário. Existem
casos em que os vários sistemas e processos presentes no sistema são tão
complicados que fazer uso dos dados para extrair o valor real pode se tornar
bastante difícil.
Beneficios:
- Melhores tomadas de decisão: O Big Data permite que as organizações baseiem suas
decisões em fatos, levando a melhores escolhas estratégicas.
- Inovação em produtos e serviços: A análise de grandes conjuntos de dados pode
revelar tendências e oportunidades de mercado, impulsionando a inovação.
Desafios:
- Custo: O big data pode ser muito caro em todas as etapas, desde a coleta de dados
até a análise e a implementação de soluções.
- Complexidade: O Big Data pode ser muito complexo, com muitos dados e muitas
fontes diferentes. Isso pode ser um desafio para entender e usar os dados de forma
eficaz, principalmente para saber quais dados são relevantes e quais não são.
- Privacidade: O Big Data também precisa lidar com a privacidade dos dados, pois os
dados pessoais são muito valiosos e precisam ser protegidos. Dados comprados, por
exemplo, podem ser usados para identificar clientes específicos e podem ser usados
para fins não éticos.
Contras:
- Vieses: Os dados podem ser viesados, o que pode levar a conclusões erradas. Por
exemplo, se uma empresa só coleta dados de seus próprios clientes, ela pode ter um
viés para seus produtos e serviços.
- Viés de sobrevivência: No contexto do Big Data, o viés de sobrevivência pode
levar a conclusões equivocadas. Por exemplo, ao analisar o sucesso de startups,
podemos nos concentrar apenas nas empresas que "sobreviveram" e tiveram sucesso,
ignorando as que falharam. Isso pode resultar em uma visão distorcida dos fatores
que fizeram as startups ter sucesso. Em grandes conjuntos de dados, é crucial
identificar e corrigir esse viés, considerando não apenas os "sobreviventes", mas
também os casos que não tiveram sucesso ou foram excluídos da análise.
https://research.ebsco.com/c/ksc6dp/search/details/ehxjqfq4mv?limiters=FT1%3AY
%2CDT1%3A2019-09-19%2F2024-09-19&q=TI%20big%20data
