全部标签
目录标签

#data-pipeline

公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。

45 条记录
标签为“data-pipeline”按健康指数排序
PyPI
98卓越健康指数
elementary-data/elementary
The dbt-native data observability solution for data & analytics engineers. Monitor your data pipelines in minutes. Available as self-hosted or cloud service with premium features.
HTML · Python★ 2,410↓ 1M/月2026年9月17日
Apache-2.02026年9月17日 · 指标 2.10.0
Go
98卓越健康指数
rudderlabs/rudder-server
Privacy and Security focused Segment-alternative, in Golang and React
Go★ 4,4772026年8月28日
自定义许可证2026年8月28日 · 指标 2.10.0
Maven
97卓越健康指数
apache/shardingsphere
Empowering Data Intelligence with Distributed SQL for Sharding, Scalability, and Security Across All Databases.
Java★ 20.8K2026年9月16日
Apache-2.02026年9月16日 · 指标 2.10.0
Maven · npm
95卓越健康指数
airbytehq/airbyte
Open-source data movement for ELT pipelines and AI agents — from APIs, databases & files to warehouses, lakes, and AI applications. Both self-hosted and Cloud.
Python · Kotlin★ 22K2026年8月26日
自定义许可证2026年8月26日 · 指标 2.10.0
PyPI · Go · npm
94卓越健康指数
bruin-data/ingestr
ingestr is a CLI tool to copy data between any databases with a single command seamlessly.
Go★ 3,952↓ 28.7K/月2026年9月9日
自定义许可证2026年9月9日 · 指标 2.10.0
Go
94卓越健康指数
datazip-inc/olake
OLake - Fastest Databases, Kafka & S3 Replication to Apache Iceberg with Table optimization (Called OLake Fusion). ⚡ Efficient, quick and scalable data ingestion for real-time analytics. Supported sources : Postgres, MongoDB, MySQL, Oracle, MSSql, DB2, Kafka, S3.
Go★ 1,5692026年10月21日
Apache-2.02026年10月21日 · 指标 2.10.0
Go
93卓越健康指数
ConduitIO/conduit
Conduit streams data between data stores. Kafka Connect replacement. No JVM required.
Go★ 6092026年9月10日
Apache-2.02026年9月10日 · 指标 2.10.0
PyPI
93卓越健康指数
Hebbian-Robotics/hflow
SDK for robotics teams to verify the quality of their data used for AI model training.
Python★ 284↓ 2,091/月2026年10月4日
Apache-2.02026年10月4日 · 指标 2.10.0
PyPI
93卓越健康指数
datajuicer/data-juicer
Data processing for and with foundation models! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷
Python★ 7,049↓ 2,750/月2026年9月16日
Apache-2.02026年9月16日 · 指标 2.10.0
PyPI
91优秀健康指数
Nike-Inc/koheesio
Python framework for building efficient data pipelines. It promotes modularity and collaboration, enabling the creation of complex pipelines from simple, reusable components.
Python★ 820↓ 346.2K/月2026年10月16日
Apache-2.02026年10月16日 · 指标 2.10.0
Go · npm
91优秀健康指数
dagucloud/dagu
Self-hostable workflow orchestrator for teams whose main work isn't orchestration. Declarative YAML over your scripts, SSH commands, containers, etc; keep workflows separate from business logic. One binary, no database, runs on limited H/W resources. Alternative to Airflow / Cron / Job Scheduler.
Go · TypeScript★ 4,0362026年9月20日
GPL-3.02026年9月20日 · 指标 2.10.0
Maven
91优秀健康指数
debezium/debezium
Change data capture for a variety of databases. Please log issues at https://github.com/debezium/dbz/issues.
Java★ 13.1K2026年8月27日
Apache-2.02026年8月27日 · 指标 2.10.0
Go · crates.io · npm +1
90优秀健康指数
estuary/flow
🌊 Continuously synchronize the systems where your data lives, to the systems where you _want_ it to live, by managing your data flows with Estuary. 🌊
Rust · C++★ 9732026年9月10日
自定义许可证2026年9月10日 · 指标 2.10.0
Maven · npm
88优秀健康指数
ModelEngine-Group/DataMate
DataMate is an enterprise-level data processing platform designed for model fine-tuning and RAG retrieval.
TypeScript · Python · Java★ 3682026年9月19日
MIT2026年9月19日 · 指标 2.10.0
PyPI
88优秀健康指数
andrewbolster/bolster
Brain of Bolster, Be Ware
Python · Jupyter Notebook★ 3↓ 2,041/月2026年9月19日
自定义许可证2026年9月19日 · 指标 2.10.0
PyPI
84优秀健康指数
Glitni/dlt-saga
Config-driven data ingestion and SCD2 historization framework built on dlt
Python★ 62026年9月16日
Apache-2.02026年9月16日 · 指标 2.10.0
RubyGems · npm
84优秀健康指数
Multiwoven/multiwoven
🔥🔥🔥 Open source Reverse ETL - alternative to hightouch and census.
Ruby · TypeScript★ 1,6732026年9月9日
AGPL-3.02026年9月9日 · 指标 2.10.0
Go
84优秀健康指数
chalk-ai/chalk-go
Go client for Chalk
Go★ 112026年9月9日
Apache-2.02026年9月9日 · 指标 2.10.0
npm
81优秀健康指数
zazuko/barnard59
An intuitive and flexible RDF pipeline solution designed to simplify and automate ETL processes for efficient data management.
JavaScript · TypeScript★ 40↓ 125.9K/月2026年9月15日
无许可证2026年9月15日 · 指标 2.10.0
crates.io · npm
80优秀健康指数
GoPlasmatic/dataflow-rs
A high-performance rules engine for IFTTT-style automation in Rust with zero-overhead JSONLogic evaluation
Rust · TypeScript★ 46↓ 3,408/月2026年9月26日
Apache-2.02026年9月26日 · 指标 2.10.0
PyPI · npm
80优秀健康指数
datris/datris-platform-oss
The Data Control Plane for AI Agents — acquire, validate, and land data over MCP with scoped keys, approval gates, and an audit log. Self-hosted, open source.
Scala · TypeScript · Python★ 12↓ 10.1K/月2026年10月19日
AGPL-3.02026年10月19日 · 指标 2.10.0
PyPI
78良好健康指数
maltzsama/dagster-authkit
Community Auth System for self-hosted Dagster OSS - simple RBAC, Audit-log, and Session Management
Python★ 72↓ 9,331/月2026年10月20日
Apache-2.02026年10月20日 · 指标 2.10.0
PyPI
77良好健康指数
russalo/file-observer
Deterministic file observation for pipelines — one read-only pass over a directory emits a reproducible JSON manifest of every file's type, metadata, structure, and provenance.
Python★ 22026年9月10日
自定义许可证2026年9月10日 · 指标 2.10.0
crates.io · npm
77良好健康指数
slothflowlabs/duckle
Open-source ETL/ELT you deploy on your own servers or cloud. Built on DuckDB: no-code/low-code visual pipelines or SQL, 385 components, dbt, CDC, data quality, reverse ETL, lineage, MCP for AI agents. No vendor cloud, no per-row billing.
Rust · TypeScript★ 1,3252026年9月25日
Apache-2.02026年9月25日 · 指标 2.10.0
PyPI · npm
75良好健康指数
parallel-web/parallel-web-tools
Contains parallel-cli and the parallel-web-tools Python package. Built on the parallel-web SDK: https://github.com/parallel-web/parallel-sdk-python
Python★ 49↓ 8,432/月2026年9月24日
无许可证2026年9月24日 · 指标 2.10.0
PyPI
75良好健康指数
snowmuffin/convmerge
Merge heterogeneous chat/text sources into a single LLM training format (JSONL)
Python★ 0↓ 2,514/月2026年10月4日
MIT2026年10月4日 · 指标 2.10.0
Go · Maven · PyPI
73良好健康指数
Liam0205/pineapple
Multi-runtime DAG pipeline engine — declare in Python, execute in Go / Java / Python, decouple with JSON.
Go · C++ · Java★ 132026年9月9日
Apache-2.02026年9月9日 · 指标 2.10.0
PyPI
71良好健康指数
PFund-Software-Ltd/pfeed
Data Engine for AI/Algo Trading: Download/Stream -> Clean -> Store. Supports Data Lakehouse Architecture. Clean Once and Forget.
Python★ 34↓ 1,064/月2026年9月12日
Apache-2.02026年9月12日 · 指标 2.10.0
PyPI
71良好健康指数
ebarti/jobstreaming
Concurrent, resumable job collection for Python with typed events, durable checkpoints, normalized models, and a DataFrame API.
Python★ 0↓ 1,063/月2026年10月21日
MIT2026年10月21日 · 指标 2.10.0
PyPI · Maven
71良好健康指数
enrichmeai/culvert
该仓库未发布描述。
Java · Python★ 0↓ 222/月2026年10月19日
Apache-2.02026年10月19日 · 指标 2.10.0