Katalog-Tag

#inference-acceleration

Alle Repositories im öffentlichen Register, die dieses Tag tragen — aus ihren GitHub-Topics oder den von ihren Paket-Registries veröffentlichten Schlagwörtern. Die Gesundheit wird nach derselben versionierten Methodik gemessen wie im übrigen Register.

2 Einträge

Getaggt als „inference-acceleration“Geordnet nach Gesundheitsindex

crates.io

84ExzellentGesundheitsindex

MicroPerceptron/virtio-accel

Transport-neutral, vendor-agnostic virtual accelerator devices. First class cross-platform NPU backend support for Apple, Intel, AMD, Qualcomm devices, as well as Vulkan for cross-platform GPU support.

Rust★ 21↓ 77/Monat21. Sept. 2026

Apache-2.021. Sept. 2026 · Metriken 2.10.0

PyPI

69GutGesundheitsindex

microsoft/LLMLingua

[EMNLP'23, ACL'24] To speed up LLMs' inference and enhance LLM's perceive of key information, compress the prompt and KV-Cache, which achieves up to 20x compression with minimal performance loss.

Python★ 6.760↓ 36.8K/Monat19. Okt. 2026

MIT19. Okt. 2026 · Metriken 2.10.0