Тег каталогу

#inference-acceleration

Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.

2 записи

З тегом «inference-acceleration»Упорядковано за індексом здоров'я

crates.io

84Відміннийіндекс здоров'я

MicroPerceptron/virtio-accel

Transport-neutral, vendor-agnostic virtual accelerator devices. First class cross-platform NPU backend support for Apple, Intel, AMD, Qualcomm devices, as well as Vulkan for cross-platform GPU support.

Rust★ 21↓ 77/міс21 вер. 2026 р.

Apache-2.021 вер. 2026 р. · метрики 2.10.0

PyPI

69Добрийіндекс здоров'я

microsoft/LLMLingua

[EMNLP'23, ACL'24] To speed up LLMs' inference and enhance LLM's perceive of key information, compress the prompt and KV-Cache, which achieves up to 20x compression with minimal performance loss.

Python★ 6 760↓ 36.8K/міс19 жовт. 2026 р.

MIT19 жовт. 2026 р. · метрики 2.10.0