Усі теги
Тег каталогу

#data-engineering

Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.

102 записи
З тегом «data-engineering»Упорядковано за індексом здоров'я
PyPI
75Добрийіндекс здоров'я
Query-farm/vgi-python
Python SDK for the VGI (Vector Gateway Interface) protocol — host DuckDB scalar, table, aggregate, and table-in-out functions in an external worker over Arrow IPC.
Python★ 4↓ 3 130/міс13 вер. 2026 р.
Власна ліцензія13 вер. 2026 р. · метрики 2.10.0
PyPI · crates.io · npm
73Добрийіндекс здоров'я
glyf-data/glyf
Open Source Visualization build tool to data pipeline
Python · Rust★ 12↓ 3 492/міс19 жовт. 2026 р.
Apache-2.019 жовт. 2026 р. · метрики 2.10.0
PyPI
73Добрийіндекс здоров'я
leonardovida/duckdb-sqlalchemy
Production-ready SQLAlchemy dialect for DuckDB and MotherDuck with operational defaults and migration support from duckdb_engine.
Python★ 1715 вер. 2026 р.
MIT15 вер. 2026 р. · метрики 2.10.0
Go
73Добрийіндекс здоров'я
okfcli/okf
Vendor-neutral Go CLI for the Open Knowledge Format. Create, validate, lint, index, search, and graph OKF bundles. Built to be driven by AI agents.
Go★ 2518 вер. 2026 р.
Apache-2.018 вер. 2026 р. · метрики 2.10.0
PyPI
71Добрийіндекс здоров'я
PFund-Software-Ltd/pfeed
Data Engine for AI/Algo Trading: Download/Stream -> Clean -> Store. Supports Data Lakehouse Architecture. Clean Once and Forget.
Python★ 34↓ 1 064/міс12 вер. 2026 р.
Apache-2.012 вер. 2026 р. · метрики 2.10.0
Go · npm
71Добрийіндекс здоров'я
flidai/leapview
Open-source BI for governed analytics, without the lock-in.
Go · TypeScript★ 1220 вер. 2026 р.
Apache-2.020 вер. 2026 р. · метрики 2.10.0
PyPI
69Добрийіндекс здоров'я
JB-Analytica/model2data
model2data turns data models into analytics-ready datasets.
Python★ 12↓ 2 011/міс2 жовт. 2026 р.
MIT2 жовт. 2026 р. · метрики 2.10.0
PyPI
69Добрийіндекс здоров'я
PaulKov/dpone
Declarative ETL framework for YAML-driven data pipelines
Python★ 0↓ 18.3K/міс13 вер. 2026 р.
Apache-2.013 вер. 2026 р. · метрики 2.10.0
PyPI
69Добрийіндекс здоров'я
Query-farm/vgi-lint-check
Lint the documentation & metadata quality of VGI (Vector Gateway Interface) data workers — descriptions, column comments, tags, and example queries — with a quality score, per-version baselines, and agent-friendly output.
Python★ 0↓ 1 081/міс11 вер. 2026 р.
Власна ліцензія11 вер. 2026 р. · метрики 2.10.0
crates.io · PyPI
69Добрийіндекс здоров'я
mag1cfrog/delta-funnel
Fast, lightweight Delta Lake to SQL Server loads without Spark or ODBC.
Rust★ 1↓ 180/міс9 вер. 2026 р.
Apache-2.09 вер. 2026 р. · метрики 2.10.0
NuGet
69Добрийіндекс здоров'я
npipeline/NPipeline
High-performance, streaming data pipelines for .NET
C#★ 515 вер. 2026 р.
Власна ліцензія15 вер. 2026 р. · метрики 2.10.0
PyPI
67Добрийіндекс здоров'я
Jackxiaozhiren/datasentry
Find, explain, and safely fix bad data. Local-first data quality for files, databases, CI pipelines, and AI agents.
Python★ 2↓ 2 303/міс18 вер. 2026 р.
Apache-2.018 вер. 2026 р. · метрики 2.10.0
npm
65Добрийіндекс здоров'я
Query-farm/vgi-typescript
TypeScript SDK for the VGI (Vector Gateway Interface) protocol — host DuckDB scalar, table, aggregate, and table-in-out functions in an external worker over Arrow IPC.
TypeScript★ 1↓ 1 562/міс16 вер. 2026 р.
Власна ліцензія16 вер. 2026 р. · метрики 2.10.0
Go · npm
65Добрийіндекс здоров'я
Tnsor-Labs/brokoli
Brokoli — self-hosted data pipeline orchestration
Go · Svelte★ 613 вер. 2026 р.
Apache-2.013 вер. 2026 р. · метрики 2.10.0
PyPI · npm
65Добрийіндекс здоров'я
datacharter/datacharter
Your data, explored locally — and your AI agents kept on a leash. A federated data explorer with governed agentic access.
Python · TypeScript★ 12↓ 1 584/міс15 вер. 2026 р.
Apache-2.015 вер. 2026 р. · метрики 2.10.0
PyPI · crates.io
63Помірнийіндекс здоров'я
BirchKwok/apexbase
A High-performance HTAP embedded database. A reliable work partner.
Rust · Python★ 3↓ 6 423/міс9 вер. 2026 р.
Apache-2.09 вер. 2026 р. · метрики 2.10.0
Go
63Помірнийіндекс здоров'я
realdatadriven/etlx
ETL / ELT / Reverse ETL Framework powered by DuckDB, designed to seamlessly integrate and process data from diverse sources. It leverages Markdown as a configuration medium, where YAML blocks define metadata for each data source, and embedded SQL blocks specify the extraction, transformation, and loading logic.
Go★ 5521 жовт. 2026 р.
MIT21 жовт. 2026 р. · метрики 2.10.0
PyPI · crates.io
62Помірнийіндекс здоров'я
apitap/apitap-lib
Move whole tables between databases fast — Postgres, MySQL, ClickHouse, BigQuery. Rust engine, one-line Python API, bounded memory.
Rust · Python · Shell★ 53↓ 762/міс19 жовт. 2026 р.
MIT19 жовт. 2026 р. · метрики 2.10.0
PyPI
62Помірнийіндекс здоров'я
sidequery/dlt-iceberg
An Iceberg destination for DLT that supports REST catalogs
Python★ 14↓ 4 803/міс12 жовт. 2026 р.
MIT12 жовт. 2026 р. · метрики 2.10.0
PyPI
60Помірнийіндекс здоров'я
1cadumagalhaes/airsql
A decorator-based SQL execution framework for Airflow that provides clean, Python-like syntax for data operations.
Python★ 0↓ 497/міс19 вер. 2026 р.
MIT19 вер. 2026 р. · метрики 2.10.0
Go
60Помірнийіндекс здоров'я
Query-farm/vgi-go
Go SDK for the VGI (Vector Gateway Interface) protocol — host DuckDB scalar, table, aggregate, and table-in-out functions in an external worker over Arrow IPC.
Go · HTML★ 18 вер. 2026 р.
Власна ліцензія8 вер. 2026 р. · метрики 2.10.0
PyPI
60Помірнийіндекс здоров'я
adidas/lakehouse-engine
The Lakehouse Engine is a configuration driven Spark framework, written in Python, serving as a scalable and distributed engine for several lakehouse algorithms, data flows and utilities for Data Products.
Python★ 293↓ 3 910/міс19 жовт. 2026 р.
Apache-2.019 жовт. 2026 р. · метрики 2.10.0
PyPI
59Помірнийіндекс здоров'я
LakeLogic/open-lakehouse-contract
Open Lakehouse Contract (OLC) is an open YAML specification for declaring a data product's schema, quality rules, transformations, lineage, ownership, service levels (SLAs and SLOs) and materialisation.
Python★ 0↓ 2 210/міс1 жовт. 2026 р.
Apache-2.01 жовт. 2026 р. · метрики 2.10.0
PyPI
59Помірнийіндекс здоров'я
larsyencken/alcove
A personal ETL and data lake.
Python★ 0↓ 191/міс20 жовт. 2026 р.
MIT20 жовт. 2026 р. · метрики 2.10.0
PyPI
57Помірнийіндекс здоров'я
Ebiquity/crystalia-collector
Опис репозиторію не опубліковано.
HTML★ 0↓ 25/міс9 вер. 2026 р.
Власна ліцензія9 вер. 2026 р. · метрики 2.10.0
PyPI
57Помірнийіндекс здоров'я
ashishsinha1602/schemagate
Identity-scoped schema selection for text-to-SQL: give the model only the tables this caller may read, and 75% fewer prompt tokens.
HTML · Python★ 318 вер. 2026 р.
Власна ліцензія18 вер. 2026 р. · метрики 2.10.0
PyPI · crates.io · npm
57Помірнийіндекс здоров'я
sercanatalik/cereyan
Orchestration for Python data pipelines, without the platform. A fast Rust core drives flows, schedules, backfills, retries, and a live UI. Agentic-ready: MCP tools, agent-attributed runs, human-in-the-loop approvals. One wheel, no runtime dependencies.
Rust · Python · TypeScript★ 1↓ 5 908/міс2 жовт. 2026 р.
Власна ліцензія2 жовт. 2026 р. · метрики 2.10.0
Go · npm
56Помірнийіндекс здоров'я
arinbalyan/scrappy
Bulk job-board scraper with 100+ sites, email enrichment, deterministic quality scoring, and multi-format exports (CSV/JSONL/XLSX/Parquet). Designed for scheduled bulk-first operations with per-site rate limiting, proxy pools, and resume support.
Go★ 619 вер. 2026 р.
Власна ліцензія19 вер. 2026 р. · метрики 2.10.0
PyPI · crates.io
56Помірнийіндекс здоров'я
mmirzafahmi/quickhouse
Fast PostgreSQL / MySQL / BigQuery → ClickHouse or BigQuery ETL: a native Rust engine driven from a small, typed Python API.
Rust · Python★ 0↓ 2 782/міс14 вер. 2026 р.
MIT14 вер. 2026 р. · метрики 2.10.0