Усі теги
Тег каталогу

#llm-serving

Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.

7 записів
З тегом «llm-serving»Упорядковано за індексом здоров'я
Maven · PyPI
90Відміннийіндекс здоров'я
ray-project/ray
Ray is an AI compute engine. Ray consists of a core distributed runtime and a set of AI Libraries for accelerating ML workloads.
Python · C++★ 43.3K17 лип. 2026 р.
Apache-2.017 лип. 2026 р. · метрики 1.13.0
crates.io · PyPI
88Відміннийіндекс здоров'я
vllm-project/vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
Python★ 86.1K↓ 0/міс13 лип. 2026 р.
Apache-2.013 лип. 2026 р. · метрики 1.13.0
Go · PyPI
80Добрийіндекс здоров'я
skypilot-org/skypilot
Run, manage, and scale AI workloads on any AI infrastructure. Use one system to access & manage all AI compute (Kubernetes, Slurm, 20+ clouds, on-prem).
Python★ 10.3K21 лип. 2026 р.
Apache-2.021 лип. 2026 р. · метрики 1.13.0
Go
71Добрийіндекс здоров'я
NexusGPU/tensor-fusion
Tensor Fusion is a state-of-the-art GPU virtualization and pooling solution designed to optimize GPU cluster utilization to its fullest potential.
Go★ 15817 лип. 2026 р.
Apache-2.017 лип. 2026 р. · метрики 1.13.0
Go
70Добрийіндекс здоров'я
nexusgpu/tensor-fusion-operator
Tensor Fusion is a state-of-the-art GPU virtualization and pooling solution designed to optimize GPU cluster utilization to its fullest potential.
Go★ 15815 лип. 2026 р.
Apache-2.015 лип. 2026 р. · метрики 1.13.0
Go
60Помірнийіндекс здоров'я
aimd54/palan
Pull, push, pack, and serve GGUF models as OCI ModelPack artifacts — daemonless, air-gap-first, one binary
Go★ 017 лип. 2026 р.
Apache-2.017 лип. 2026 р. · метрики 1.13.0
Go · PyPI
59Помірнийіндекс здоров'я
anthony-chaudhary/fak
fak — the Fused Agent Kernel: one Go binary for AI agent loops. Wrap Claude Code/Codex/Cursor, keep long sessions cache-efficient, route work per call, run local GGUF models, and adjudicate tool calls.
Go · Python★ 1517 лип. 2026 р.
Apache-2.017 лип. 2026 р. · метрики 1.13.0