Repositories list

• DataX

  Public
  DataX是阿里云DataWorks数据集成的开源版本。

  Java

  •

  Other

  •5.6k•0•0•0•Updated Dec 29, 2024Dec 29, 2024

• hudi

  Public
  Upserts, Deletes And Incremental Processing on Big Data.

  Java

  •

  Apache License 2.0

  •2.4k•0•0•0•Updated Dec 28, 2024Dec 28, 2024

• apache-spark-tutorial

  Public
  Apache Spark Tutorial.《跟老卫学Apache Spark》

  8•0•0•0•Updated Nov 11, 2024Nov 11, 2024

• kyuubi

  Public
  Apache Kyuubi is a distributed and multi-tenant gateway to provide serverless SQL on data warehouses and lakehouses.

  Scala

  •

  Apache License 2.0

  •971•0•0•0•Updated Sep 7, 2023Sep 7, 2023

• amoro

  Public
  Amoro is a Lakehouse management system built on open data lake formats.

  Java

  •

  Apache License 2.0

  •360•0•0•0•Updated Sep 7, 2023Sep 7, 2023

• havenask

  Public
  C++

  •

  Apache License 2.0

  •327•0•0•0•Updated Jun 29, 2023Jun 29, 2023

• doris

  Public
  Apache Doris is an easy-to-use, high performance and unified analytics database.

  Java

  •

  Apache License 2.0

  •3.6k•0•0•0•Updated May 5, 2023May 5, 2023

• drill

  Public
  Apache Drill is a distributed MPP query layer for self describing data

  Java

  •

  Apache License 2.0

  •988•0•0•0•Updated Apr 29, 2023Apr 29, 2023

• FiboModel

  Public
  数据建模平台

  Python

  •

  Apache License 2.0

  •5•0•0•0•Updated Aug 19, 2022Aug 19, 2022

• xap

  Public
  Distributed, highly-scalable, In Memory Data Grid

  Java

  •

  Other

  •45•0•0•0•Updated Aug 14, 2022Aug 14, 2022

• jun_bigdata

  Public
  jun_bigdata大数据平台服务框架。实现了Kafka实时数据过滤、清洗、转换、消费，实现了Spark SQL对Redis、MongoDB等非关系型数据库的数据的读写；集成了规则引擎，可基于规则引擎实现客户标签、画像等相关功能。输出各类大屏展示看板DashBoard等

  JavaScript

  •18•0•0•0•Updated Jul 21, 2022Jul 21, 2022

• FiboTracking

  Public
  FiboTracking，帮助用户解决传统数据分析中数据割裂、用户身份难以识别统一、数据众多却难以利用的问题，通过ID-MAPPING技术，为用户打通数据孤岛，构建客户360度全景画像，提供事件分析、留存分析、漏斗分析等功能，深度赋能营销部门进行高效决策。

  Java

  •

  Apache License 2.0

  •8•0•0•0•Updated Jul 15, 2022Jul 15, 2022

• graphql-calculator

  Public
  轻量级 graphql 查询计算引擎，为 graphql 查询提供字段加工、列表过滤排序、简单控制流和依赖数据编排的能力。A lightweight graphql calculation engine, which is used to alter execution behavior of query.

  Java

  •

  Apache License 2.0

  •17•0•0•0•Updated Apr 28, 2022Apr 28, 2022

• analysis-ik-online

  Public
  IKAnalyzer多分词配置、在线词典管理和热重载

  JavaScript

  •

  Apache License 2.0

  •3•0•0•0•Updated Apr 18, 2022Apr 18, 2022

• BigDataSrcAnalysis

  Public
  Java

  •4•0•0•0•Updated Apr 7, 2022Apr 7, 2022

• Quicksql

  Public
  A Flexible, Fast, Federated(3F) SQL Analysis Middleware for Multiple Data Sources

  Java

  •

  MIT License

  •578•0•0•0•Updated Feb 10, 2022Feb 10, 2022

• JavaBigData

  Public
  非科班转行大数据开发

  Java

  •118•0•0•0•Updated Jan 27, 2022Jan 27, 2022

• XSQL

  Public
  Unified SQL Analytics Engine Based on SparkSQL

  Scala

  •

  Apache License 2.0

  •58•0•0•0•Updated Jan 21, 2022Jan 21, 2022

• dataease

  Public
  人人可用的开源数据可视化分析工具。

  Java

  •

  GNU General Public License v3.0

  •3.9k•0•0•0•Updated Dec 31, 2021Dec 31, 2021

• hadoop_study

  Public
  定期更新Hadoop生态圈中常用大数据组件文档 重心依次为: Flink Solr Sparksql ES Scala Kafka Hbase/phoenix Redis Kerberos (项目包含hadoop思维导图 印象笔记 Scala版本简单demo 常用工具类 去敏后的train code 持续更新!!!)

  Java

  •255•0•0•0•Updated Dec 30, 2021Dec 30, 2021

• stream-ql

  Public
  用 SQL 来描述 Stream API。可用 SQL 来实现数据处理逻辑，支持实时数据处理，支持聚合，分组，自定义函数等功能。让数据处理更简单。

  Java

  •

  Apache License 2.0

  •4•0•0•0•Updated Dec 14, 2021Dec 14, 2021

• flink-bahavior-trace

  Public
  将不同平台的用户行为轨迹,清洗后存储es,涉及到mysql->kafka->flink->hbase->es

  Scala

  •2•0•0•0•Updated Aug 9, 2021Aug 9, 2021

• commengzcaa

  Public
  Java

  •2•0•0•0•Updated Apr 5, 2021Apr 5, 2021

• UserBehaviorAnalysis

  Public
  Kafka+Flink+MySQL+ES demo

  Java

  •3•0•0•0•Updated Aug 31, 2020Aug 31, 2020

• event-driven-kafka-flink-es

  Public
  Shell

  •3•0•0•0•Updated Aug 26, 2020Aug 26, 2020

• flink-sql-e2e-tests

  Public
  Tests suits mainly for Flink SQL connectors, such as Kafka to MySQL, Kafka to ES.

  Java

  •1•0•0•0•Updated May 29, 2020May 29, 2020

• ido

  Public
  大数据相关技术学习整理，诸如：HBase、Spark、Flink、Kafka、Druid、Hive、ES、Kudu、Mongo 等。

  2•0•0•0•Updated May 28, 2020May 28, 2020

• kafka-flink-hbase

  Public
  flink实时处理kafka传来的数据通过连接池技术写入hbase

  Java

  •55•0•0•0•Updated Jan 22, 2019Jan 22, 2019

• kettle-manager

  Public
  专门为kettle这款优秀的ETL工具开发的web端管理工具。

  JavaScript

  •

  GNU General Public License v2.0

  •375•0•0•0•Updated Jul 18, 2018Jul 18, 2018

• mumu-hbase

  Public
  mumu-hbase项目是一个初步了解和学习hbase的demo项目，通过这个项目了解到hbase列数据库是由表、列族、列限定符、时间戳、列值组成的半结构化、疏散列的数据库，用户可以动态的添加列，可以使一个表达到亿行百万列，而不影响查询能力，这是由于hmast + hregionserver + memstore + blockcache 架构支撑的。同时通过mumu-hbase项目了解到hbase的基本使用方法，包括表、列族、列、过滤器、协处理器等功能。hbase不仅支持原生hbase API调用，还支持REST、AVRO、THRIFT等第三方客户端调用。

  Java

  •

  Apache License 2.0

  •6•0•0•0•Updated Oct 9, 2017Oct 9, 2017