目录标签

#inference-acceleration

公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。

2 条记录

标签为“inference-acceleration”按健康指数排序

crates.io

84优秀健康指数

Transport-neutral, vendor-agnostic virtual accelerator devices. First class cross-platform NPU backend support for Apple, Intel, AMD, Qualcomm devices, as well as Vulkan for cross-platform GPU support.

Rust★ 21↓ 77/月2026年9月21日

Apache-2.02026年9月21日 · 指标 2.10.0

PyPI

69良好健康指数

microsoft/LLMLingua

[EMNLP'23, ACL'24] To speed up LLMs' inference and enhance LLM's perceive of key information, compress the prompt and KV-Cache, which achieves up to 20x compression with minimal performance loss.

Python★ 6,760↓ 36.8K/月2026年10月19日

MIT2026年10月19日 · 指标 2.10.0