全部标签
目录标签

#inference-server

公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。

6 条记录
标签为“inference-server”按健康指数排序
PyPI · crates.io
98卓越健康指数
basetenlabs/truss
The simplest way to serve AI/ML models in production
Python · Rust★ 1,223↓ 589.7K/月2026年10月24日
MIT2026年10月24日 · 指标 2.10.0
PyPI
94卓越健康指数
vllm-project/speculators
A unified library for building, evaluating, and storing speculative decoding algorithms for LLM inference in vLLM
Python★ 865↓ 5,844/月2026年10月8日
Apache-2.02026年10月8日 · 指标 2.10.0
PyPI
92优秀健康指数
raullenchai/Rapid-MLX
Rapid-MLX is an open-source (Apache 2.0) OpenAI- and Anthropic-compatible LLM inference server for Apple Silicon, built on MLX, focused on reliable tool calling for coding agents. Up to 4× faster than Apple's MLX (mlx-lm) on the same weights.
Python · Swift★ 4,165↓ 8,243/月2026年11月19日
Apache-2.02026年11月19日 · 指标 2.10.0
PyPI
91优秀健康指数
waybarrios/vllm-mlx
High-performance OpenAI and Anthropic compatible LLM inference server for Apple Silicon. Native MLX, continuous batching, multimodal models, MCP tool calling, and Claude Code support.
Python★ 1,626↓ 5,191/月2026年10月20日
Apache-2.02026年10月20日 · 指标 2.10.0
PyPI
89优秀健康指数
jundot/omlx
LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar
Python★ 23.8K2026年11月20日
Apache-2.02026年11月20日 · 指标 2.10.0
PyPI · npm
88优秀健康指数
roboflow/inference
Turn any computer or edge device into a command center for your computer vision projects.
Python★ 2,4802026年10月21日
自定义许可证2026年10月21日 · 指标 2.10.0