PyPI · crates.io99卓越健康指数vllm-project/vllmA high-throughput and memory-efficient inference and serving engine for LLMsPython★ 88.2K2026年8月4日Apache-2.02026年8月4日 · 指标 2.10.0
PyPI · crates.io98卓越健康指数sgl-project/sglangSGLang is a high-performance serving framework for large language models and multimodal models.Python★ 31.3K↓ 144M/月2026年8月4日Apache-2.02026年8月4日 · 指标 2.10.0
PyPI88优秀健康指数NVIDIA/cudnn-frontendcuDNN Frontend is NVIDIA's modern, open-source entry point to the cuDNN library and a growing collection of high-performance open-source kernels.Python · C++★ 8862026年7月21日MIT2026年7月21日 · 指标 2.10.0
PyPI · npm84优秀健康指数lightseekorg/tokenspeedTokenSpeed is a speed-of-light LLM inference engine.Python★ 1,639↓ 1.7M/月2026年7月21日MIT2026年7月21日 · 指标 2.10.0
PyPI63中等健康指数RobTand/gridbookOut-of-tree vLLM plugin and open format spec for NVFP4-CB / FP8-CB product-codebook weights — 2-6 bit-per-weight LLM quantization served on native Blackwell tensor cores.Python · Cuda★ 10↓ 2,218/月2026年8月15日Apache-2.02026年8月15日 · 指标 2.10.0