全部标签
目录标签

#llm-serving

公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。

7 条记录
标签为“llm-serving”按健康指数排序
Maven · PyPI
90优秀健康指数
ray-project/ray
Ray is an AI compute engine. Ray consists of a core distributed runtime and a set of AI Libraries for accelerating ML workloads.
Python · C++★ 43.3K2026年7月17日
Apache-2.02026年7月17日 · 指标 1.13.0
crates.io · PyPI
88优秀健康指数
vllm-project/vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
Python★ 86.1K↓ 0/月2026年7月13日
Apache-2.02026年7月13日 · 指标 1.13.0
Go · PyPI
80良好健康指数
skypilot-org/skypilot
Run, manage, and scale AI workloads on any AI infrastructure. Use one system to access & manage all AI compute (Kubernetes, Slurm, 20+ clouds, on-prem).
Python★ 10.3K2026年7月21日
Apache-2.02026年7月21日 · 指标 1.13.0
Go
71良好健康指数
NexusGPU/tensor-fusion
Tensor Fusion is a state-of-the-art GPU virtualization and pooling solution designed to optimize GPU cluster utilization to its fullest potential.
Go★ 1582026年7月17日
Apache-2.02026年7月17日 · 指标 1.13.0
Go
70良好健康指数
nexusgpu/tensor-fusion-operator
Tensor Fusion is a state-of-the-art GPU virtualization and pooling solution designed to optimize GPU cluster utilization to its fullest potential.
Go★ 1582026年7月15日
Apache-2.02026年7月15日 · 指标 1.13.0
Go
60中等健康指数
aimd54/palan
Pull, push, pack, and serve GGUF models as OCI ModelPack artifacts — daemonless, air-gap-first, one binary
Go★ 02026年7月17日
Apache-2.02026年7月17日 · 指标 1.13.0
Go · PyPI
59中等健康指数
anthony-chaudhary/fak
fak — the Fused Agent Kernel: one Go binary for AI agent loops. Wrap Claude Code/Codex/Cursor, keep long sessions cache-efficient, route work per call, run local GGUF models, and adjudicate tool calls.
Go · Python★ 152026年7月17日
Apache-2.02026年7月17日 · 指标 1.13.0