目录标签

#distributed-inference

公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。

4 条记录

标签为“distributed-inference”按健康指数排序

PyPI

97卓越健康指数

FlashInfer: Kernel Library for LLM Serving

Python · Cuda★ 6,263↓ 7.1M/月2026年8月27日

Apache-2.02026年8月27日 · 指标 2.10.0

PyPI

96卓越健康指数

A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.

Python★ 5,6962026年9月15日

Apache-2.02026年9月15日 · 指标 2.10.0

PyPI

94卓越健康指数

SGLang-Omni is a high-performance serving framework for audio models (TTS, ASR) and unified multimodal models.

Python★ 1,289↓ 3,737/月2026年9月28日

Apache-2.02026年9月28日 · 指标 2.10.0

PyPI · crates.io

62中等健康指数

An imperative command-line-interface for AI workload orchestration

Python★ 25↓ 3,845/月2026年8月23日

Apache-2.02026年8月23日 · 指标 2.10.0