crates.io · PyPI88优秀健康指数vllm-project/vllmA high-throughput and memory-efficient inference and serving engine for LLMsPython★ 86.1K↓ 0/月2026年7月13日Apache-2.02026年7月13日 · 指标 1.13.0
PyPI85优秀健康指数flashinfer-ai/flashinferFlashInfer: Kernel Library for LLM ServingPython · Cuda · C++★ 5,988↓ 3M/月2026年7月21日Apache-2.02026年7月21日 · 指标 1.13.0
PyPI84良好健康指数modelscope/ms-swiftUse PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600+ LLMs (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) and 300+ MLLMs (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...) (AAAI 2025).Python★ 14.8K↓ 103.3K/月2026年7月15日Apache-2.02026年7月15日 · 指标 1.13.0
PyPI82良好健康指数modelscope/swiftUse PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600+ LLMs (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) and 300+ MLLMs (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...) (AAAI 2025).Python★ 14.8K↓ 0/月2026年7月14日Apache-2.02026年7月14日 · 指标 1.13.0
crates.io · PyPI82良好健康指数sgl-project/sglangSGLang is a high-performance serving framework for large language models and multimodal models.Python★ 30.3K↓ 274M/月2026年7月14日Apache-2.02026年7月14日 · 指标 1.13.0
PyPI76良好健康指数ModelCloud/GPTQModelLLM model quantization (compression) toolkit with HW acceleration support for Nvidia, AMD, Intel GPU and Intel/AMD/Apple CPU via HF, vLLM, and SGLang.Python · Cuda★ 1,2072026年7月17日自定义许可证2026年7月17日 · 指标 1.13.0
PyPI73良好健康指数NVIDIA/cudnn-frontendcuDNN Frontend is NVIDIA's modern, open-source entry point to the cuDNN library and a growing collection of high-performance open-source kernels.Python · C++★ 8862026年7月21日MIT2026年7月21日 · 指标 1.13.0
PyPI54中等健康指数jjang-ai/jangqJANG — GGUF for MLX. YOU MUST USE JANG_Q RUNTIME. Adaptive Mixed-Precision Quantization + Runtime for Apple SiliconPython · Swift★ 2142026年7月22日无许可证2026年7月22日 · 指标 1.13.0