Todas las etiquetas
Etiqueta del catálogo

#kv-cache

Todos los repositorios del registro público que llevan esta etiqueta, procedente de sus topics de GitHub o de las palabras clave que publican sus registros de paquetes. La salud se mide con la misma metodología versionada que el resto del registro.

5 registros
Con la etiqueta «kv-cache»Ordenado por índice de salud
PyPI
63Moderadoíndice de salud
varjoranta/turboquant-vllm
TurboQuant+ KV cache compression for vLLM. 3.8x smaller KV cache, same conversation quality. Fused CUDA kernels with automatic PyTorch fallback.
Python · C++ · Cuda★ 76↓ 960/mes22 jul 2026
MIT22 jul 2026 · métricas 1.13.0
PyPI
60Moderadoíndice de salud
jagmarques/nexusquant
Training-free KV cache compression via E8 lattice VQ. 2-bit KV that preserves retrieval (30/30 NIAH vs TurboQuant 0/30). Calibration-free, 9 architectures validated.
Python★ 2516 jul 2026
Licencia propia16 jul 2026 · métricas 1.13.0
Go · PyPI
59Moderadoíndice de salud
anthony-chaudhary/fak
fak — the Fused Agent Kernel: one Go binary for AI agent loops. Wrap Claude Code/Codex/Cursor, keep long sessions cache-efficient, route work per call, run local GGUF models, and adjudicate tool calls.
Go · Python★ 1517 jul 2026
Apache-2.017 jul 2026 · métricas 1.13.0
npm · PyPI
56Moderadoíndice de salud
rajveer43/VeloxQuant-MLX
TurboQuant MLX implementation for Apple Silicon Faster KV cache quantization optimized for MLX
Python★ 10↓ 4108/mes14 jul 2026
MIT14 jul 2026 · métricas 1.13.0
crates.io
39En riesgoíndice de salud
RecursiveIntell/turbo-quant
Rust implementation of TurboQuant, PolarQuant, and QJL — zero-overhead vector quantization for semantic search and KV cache compression (ICLR 2026)
Rust★ 29↓ 2256/mes13 jul 2026
MIT13 jul 2026 · métricas 1.13.0