Etiqueta del catálogo

#inference-acceleration

Todos los repositorios del registro público que llevan esta etiqueta, procedente de sus topics de GitHub o de las palabras clave que publican sus registros de paquetes. La salud se mide con la misma metodología versionada que el resto del registro.

2 registros

Con la etiqueta «inference-acceleration»Ordenado por índice de salud

crates.io

84Excelenteíndice de salud

MicroPerceptron/virtio-accel

Transport-neutral, vendor-agnostic virtual accelerator devices. First class cross-platform NPU backend support for Apple, Intel, AMD, Qualcomm devices, as well as Vulkan for cross-platform GPU support.

Rust★ 21↓ 77/mes21 sept 2026

Apache-2.021 sept 2026 · métricas 2.10.0

PyPI

69Buenoíndice de salud

microsoft/LLMLingua

[EMNLP'23, ACL'24] To speed up LLMs' inference and enhance LLM's perceive of key information, compress the prompt and KV-Cache, which achieves up to 20x compression with minimal performance loss.

Python★ 6760↓ 36.8K/mes19 oct 2026

MIT19 oct 2026 · métricas 2.10.0