
delta-io/deltaAn open-source storage framework that enables building a Lakehouse architecture with compute engines including Spark, PrestoDB, Flink, Trino, and Hive and APIs
Scala · Java★ 8,996↓ 37M/月2026年9月15日
Python · Go★ 3,1532026年10月16日
Python · JavaScript★ 2,4112026年9月17日

microsoft/SynapseMLSimple and Distributed Machine Learning Python Library porting ML algorithms for Spark
Scala · Python★ 5,2472026年9月17日
Maven · npm · PyPI96卓越健康指数

apache/paimonApache Paimon is a lake format that enables building a Realtime Lakehouse Architecture with Flink and Spark for both streaming and batch operations.
Java · Python★ 3,4252026年10月19日
Maven · npm · PyPI +196卓越健康指数

apache/sparkApache Spark - A unified analytics engine for large-scale data processing
Scala · Python★ 44K2026年9月16日
Scala · Python★ 1,2072026年9月17日

graphistry/pygraphistryPyGraphistry is a Python library to quickly load, shape, embed, and explore big graphs with the GPU-accelerated Graphistry visual graph analyzer
Python★ 2,565↓ 8,037/月2026年10月3日
Maven · crates.io · npm +194卓越健康指数

apache/celebornApache Celeborn is an elastic and high-performance service for shuffle and spilled data.
Java · Scala★ 1,0682026年9月29日

apache/kyuubiApache Kyuubi is a distributed and multi-tenant gateway to provide serverless SQL on data warehouses and lakehouses.
Scala · Java★ 2,3662026年9月19日
Python★ 233↓ 73.1M/月2026年9月16日

apache/uniffleUniffle is a high performance, general purpose Remote Shuffle Service.
Java★ 4542026年9月12日
Python★ 71↓ 98.9K/月2026年10月17日
Python★ 9,573↓ 86.7M/月2026年8月27日
Python★ 658↓ 3.5M/月2026年9月20日

Nike-Inc/koheesioPython framework for building efficient data pipelines. It promotes modularity and collaboration, enabling the creation of complex pipelines from simple, reusable components.
Python★ 820↓ 346.2K/月2026年10月16日
Scala · Python★ 960↓ 940.9K/月2026年10月20日

dotnet/spark.NET for Apache® Spark™ makes Apache Spark™ easily accessible to .NET developers.
C# · Scala★ 2,0952026年10月13日

flyteorg/flytekitExtensible Python SDK for developing Flyte tasks and workflows. Simple to get started and learn and highly extensible.
Python★ 320↓ 567.1K/月2026年9月14日
TypeScript★ 2,891↓ 16.8M/月2026年9月17日

calvinchengx/fabric-emulatorLocal Microsoft Fabric emulator in one Go binary. Control plane, OneLake, T-SQL warehouse and Spark, verified against unmodified Microsoft tools.
Go · Python★ 202026年9月10日
Java★ 1,5102026年9月13日
TypeScript★ 394↓ 193.5K/月2026年9月26日
Python · Java★ 16↓ 72.8K/月2026年10月19日

ChatLunaLab/chatluna多平台模型接入,可扩展,多种输出格式,提供大语言模型聊天服务的插件 | A bot plugin for LLM chat with multi-model integration, extensibility, and various output formats
TypeScript · Vue★ 442↓ 13.2K/月2026年10月20日

MigoXLab/dingoDingo: A Comprehensive AI Data, Model and Application Quality Evaluation Tool
Python★ 758↓ 430/月2026年10月19日
Python★ 51↓ 11K/月2026年9月11日
Scala★ 8952026年9月19日
Maven · npm · PyPI87优秀健康指数

aehrc/pathlingTools that make it easier to use FHIR and clinical terminology within data analytics, built on Apache Spark.
Java · TypeScript★ 1372026年10月13日
PyPI · Maven · npm +187优秀健康指数

h2oai/h2o-3H2O is an Open Source, Distributed, Fast & Scalable Machine Learning Platform: Deep Learning, Gradient Boosting (GBM) & XGBoost, Random Forest, Generalized Linear Modeling (GLM with Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), etc.
Jupyter Notebook · HTML · Java★ 7,495↓ 3,086/月2026年8月24日