Усі теги
Тег каталогу

#data-engineering

Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.

71 запис
З тегом «data-engineering»Упорядковано за індексом здоров'я
PyPI
88Відміннийіндекс здоров'я
airbytehq/PyAirbyte
PyAirbyte brings the power of Airbyte to every Python developer. Powers the Airbyte Cloud Replication MCP.
Python★ 34312 серп. 2026 р.
Власна ліцензія12 серп. 2026 р. · метрики 2.10.0
npm · PyPI
88Відміннийіндекс здоров'я
benseverndev-oss/goldenmatch
Zero-config entity resolution feeding a durable identity layer: messy records from any source become stable golden entities, a Customer 360 with provenance, merge/split and audit. Fellegi-Sunter beats hand-tuned Splink. Arrow-native/Rust, 250M rows in 11.2 min. Python + edge TypeScript (WASM), SQL-native in Postgres & DuckDB, 97 MCP tools + REST.
Python · TypeScript★ 1316 вер. 2026 р.
MIT6 вер. 2026 р. · метрики 2.10.0
PyPI
88Відміннийіндекс здоров'я
dbt-msft/dbt-sqlserver
dbt adapter for SQL Server and Azure SQL
Python★ 252↓ 172.4K/міс27 лип. 2026 р.
MIT27 лип. 2026 р. · метрики 2.10.0
PyPI · crates.io
87Відміннийіндекс здоров'я
pmgraham/datagrunt
Datagrunt is a Python library designed to simplify the way you work with CSV, Excel, Parquet, and PDF files. It provides a streamlined approach to reading, processing, and transforming your data into various formats, making data manipulation efficient and intuitive.
Python · Rust★ 13↓ 2 998/міс22 серп. 2026 р.
MIT22 серп. 2026 р. · метрики 2.10.0
PyPI
86Відміннийіндекс здоров'я
SuperCowPowers/workbench
Workbench: An easy to use Python API for creating and deploying AWS SageMaker Models
Python★ 51↓ 10.1K/міс18 лип. 2026 р.
MIT18 лип. 2026 р. · метрики 2.10.0
npm · PyPI
84Відміннийіндекс здоров'я
AltimateAI/altimate-code
Open-source agentic data engineering harness for dbt, SQL, and cloud warehouses. 100+ tools, 10 warehouses, AI-powered.
TypeScript★ 75118 лип. 2026 р.
MIT18 лип. 2026 р. · метрики 2.10.0
PyPI
83Відміннийіндекс здоров'я
Glitni/dlt-saga
Config-driven data ingestion and SCD2 historization framework built on dlt
Python★ 63 серп. 2026 р.
Apache-2.03 серп. 2026 р. · метрики 2.10.0
Go · npm
81Відміннийіндекс здоров'я
datazip-inc/olake-ui
Frontend & BFF (Backend for frontend) for Olake. This includes the UI code and backend code for storing the configuration of sync and orchestrating it.
TypeScript · Go★ 3217 лип. 2026 р.
Apache-2.017 лип. 2026 р. · метрики 2.10.0
Go
81Відміннийіндекс здоров'я
stergiotis/boxer
Data Engineering Toolbelt - DB-to-Glass
Go★ 105 вер. 2026 р.
MIT5 вер. 2026 р. · метрики 2.10.0
PyPI
77Добрийіндекс здоров'я
maltzsama/dagster-authkit
Community Auth System for self-hosted Dagster OSS - simple RBAC, Audit-log, and Session Management
Python★ 63↓ 7 705/міс22 серп. 2026 р.
Apache-2.022 серп. 2026 р. · метрики 2.10.0
73Добрийіндекс здоров'я
exmergo/dex
Dex is the agent-native analytics engineering toolkit. Point it at your warehouse and your dbt project. It learns the landscape, authors your transformations, and tells you exactly what to fix when the schema drifts. Built for analytics engineers and data engineers who want more out of their coding agent.
Python★ 1218 лип. 2026 р.
Apache-2.018 лип. 2026 р. · метрики 2.10.0
PyPI
73Добрийіндекс здоров'я
leonardovida/duckdb-sqlalchemy
Production-ready SQLAlchemy dialect for DuckDB and MotherDuck with operational defaults and migration support from duckdb_engine.
Python★ 1631 лип. 2026 р.
MIT31 лип. 2026 р. · метрики 2.10.0
PyPI · crates.io
71Добрийіндекс здоров'я
BirchKwok/ApexBase
A High-performance HTAP embedded database. A reliable work partner.
Rust · Python★ 3↓ 5 330/міс17 лип. 2026 р.
Apache-2.017 лип. 2026 р. · метрики 2.10.0
PyPI
71Добрийіндекс здоров'я
fmind/mlops-python-package
A comprehensive Python package template to kickstart and standardize your MLOps initiatives and data pipelines.
Jupyter Notebook★ 1 41629 серп. 2026 р.
MIT29 серп. 2026 р. · метрики 2.10.0
PyPI
71Добрийіндекс здоров'я
russalo/file-observer
Deterministic file observation for pipelines — one read-only pass over a directory emits a reproducible JSON manifest of every file's type, metadata, structure, and provenance.
Python★ 217 лип. 2026 р.
Власна ліцензія17 лип. 2026 р. · метрики 2.10.0
PyPI
69Добрийіндекс здоров'я
PFund-Software-Ltd/pfeed
Data Engine for AI/Algo Trading: Download/Stream -> Clean -> Store. Supports Data Lakehouse Architecture. Clean Once and Forget.
Python★ 35↓ 1 064/міс20 лип. 2026 р.
Apache-2.020 лип. 2026 р. · метрики 2.10.0
PyPI
69Добрийіндекс здоров'я
PaulKov/dpone
Declarative ETL framework for YAML-driven data pipelines
Python★ 2↓ 25.1K/міс22 лип. 2026 р.
Apache-2.022 лип. 2026 р. · метрики 2.10.0
PyPI
69Добрийіндекс здоров'я
Query-farm/vgi-python
Python SDK for the VGI (Vector Gateway Interface) protocol — host DuckDB scalar, table, aggregate, and table-in-out functions in an external worker over Arrow IPC.
Python★ 223 лип. 2026 р.
Власна ліцензія23 лип. 2026 р. · метрики 2.10.0
PyPI
69Добрийіндекс здоров'я
rasinmuhammed/misata
Synthetic test data that hits the numbers you declare, exactly. Multi-table with verified foreign-key integrity, deterministic, no model in the data path. Python + MCP server.
Python★ 66↓ 4 697/міс19 серп. 2026 р.
MIT19 серп. 2026 р. · метрики 2.10.0
Go
67Добрийіндекс здоров'я
realdatadriven/etlx
ETL / ELT / Reverse ETL Framework powered by DuckDB, designed to seamlessly integrate and process data from diverse sources. It leverages Markdown as a configuration medium, where YAML blocks define metadata for each data source, and embedded SQL blocks specify the extraction, transformation, and loading logic.
Go★ 535 вер. 2026 р.
MIT5 вер. 2026 р. · метрики 2.10.0
npm
63Помірнийіндекс здоров'я
Query-farm/vgi-typescript
TypeScript SDK for the VGI (Vector Gateway Interface) protocol — host DuckDB scalar, table, aggregate, and table-in-out functions in an external worker over Arrow IPC.
TypeScript★ 0↓ 4 041/міс2 серп. 2026 р.
Власна ліцензія2 серп. 2026 р. · метрики 2.10.0
PyPI
60Помірнийіндекс здоров'я
Query-farm/vgi-lint-check
Lint the documentation & metadata quality of VGI (Vector Gateway Interface) data workers — descriptions, column comments, tags, and example queries — with a quality score, per-version baselines, and agent-friendly output.
Python★ 0↓ 11.8K/міс19 лип. 2026 р.
Власна ліцензія19 лип. 2026 р. · метрики 2.10.0
PyPI
60Помірнийіндекс здоров'я
adidas/lakehouse-engine
The Lakehouse Engine is a configuration driven Spark framework, written in Python, serving as a scalable and distributed engine for several lakehouse algorithms, data flows and utilities for Data Products.
Python★ 294↓ 3 910/міс18 серп. 2026 р.
Apache-2.018 серп. 2026 р. · метрики 2.10.0
PyPI · crates.io
59Помірнийіндекс здоров'я
apitap/apitap-lib
Move whole tables between databases fast — Postgres, MySQL, ClickHouse, BigQuery. Rust engine, one-line Python API, bounded memory.
Rust · Python★ 5018 серп. 2026 р.
MIT18 серп. 2026 р. · метрики 2.10.0
crates.io · PyPI
59Помірнийіндекс здоров'я
mag1cfrog/delta-funnel
Fast, lightweight Delta Lake to SQL Server loads without Spark or ODBC.
Rust★ 016 лип. 2026 р.
Apache-2.016 лип. 2026 р. · метрики 2.10.0
PyPI
57Помірнийіндекс здоров'я
eric-thomas-dagster/dagster-community-components-cli
Опис репозиторію не опубліковано.
Python★ 0↓ 1 420/міс22 серп. 2026 р.
MIT22 серп. 2026 р. · метрики 2.10.0
PyPI · npm
56Помірнийіндекс здоров'я
datacharter/datacharter
Your data, explored locally — and your AI agents kept on a leash. A federated data explorer with governed agentic access.
Python · TypeScript★ 1↓ 2 634/міс1 серп. 2026 р.
Apache-2.01 серп. 2026 р. · метрики 2.10.0
PyPI
56Помірнийіндекс здоров'я
ebiquity/crystalia-collector
Опис репозиторію не опубліковано.
HTML★ 0↓ 317/міс17 лип. 2026 р.
Власна ліцензія17 лип. 2026 р. · метрики 2.10.0
Go
56Помірнийіндекс здоров'я
query-farm/vgi-go
Go SDK for the VGI (Vector Gateway Interface) protocol — host DuckDB scalar, table, aggregate, and table-in-out functions in an external worker over Arrow IPC.
Go · HTML★ 015 лип. 2026 р.
Власна ліцензія15 лип. 2026 р. · метрики 2.10.0