Усі теги
Тег каталогу

#distributed-inference

Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.

4 записи
З тегом «distributed-inference»Упорядковано за індексом здоров'я
PyPI
97Винятковийіндекс здоров'я
flashinfer-ai/flashinfer
FlashInfer: Kernel Library for LLM Serving
Python · Cuda★ 6 263↓ 7.1M/міс27 серп. 2026 р.
Apache-2.027 серп. 2026 р. · метрики 2.10.0
PyPI
96Винятковийіндекс здоров'я
gpustack/gpustack
A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.
Python★ 5 69615 вер. 2026 р.
Apache-2.015 вер. 2026 р. · метрики 2.10.0
PyPI
94Винятковийіндекс здоров'я
sgl-project/sglang-omni
SGLang-Omni is a high-performance serving framework for audio models (TTS, ASR) and unified multimodal models.
Python★ 1 289↓ 3 737/міс28 вер. 2026 р.
Apache-2.028 вер. 2026 р. · метрики 2.10.0
PyPI · crates.io
62Помірнийіндекс здоров'я
theoddden/Terradev
An imperative command-line-interface for AI workload orchestration
Python★ 25↓ 3 845/міс23 серп. 2026 р.
Apache-2.023 серп. 2026 р. · метрики 2.10.0