PyPI · Go
LMCache/LMCache
LMCache: Supercharge Your LLM with the Fastest KV Cache Layer
Apache-2.018 вер. 2026 р. · метрики 2.10.0
Усі теги
Тег каталогу
#kv-cache
Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.
12 записів
PyPI
kvcache-ai/Mooncake
Mooncake is the serving platform for Kimi, a leading LLM service provided by Moonshot AI.
Apache-2.017 вер. 2026 р. · метрики 2.10.0
PyPI
MemTensor/MemOS
Self-evolving memory OS for LLM & AI Agents: ultra-persistent memory, hybrid-retrieval, and cross-task skill reuse, with 35.24% token savings and DeepSeek Harness support.
Apache-2.028 серп. 2026 р. · метрики 2.10.0
PyPI · npm
rajveer43/VeloxQuant-MLX
Fast KV-cache quantization for Apple Silicon (MLX) — 43 research-adapted compression methods with Metal kernels
MIT21 жовт. 2026 р. · метрики 2.10.0
PyPI
manjunathshiva/turboquant-mlx
Extreme weight + KV cache compression for LLMs on Apple Silicon (MLX implementation of Google's TurboQuant)
Apache-2.020 жовт. 2026 р. · метрики 2.10.0
PyPI · crates.io
ahb-sjsu/turboquant-pro
Consumer-aware compression for embedding indexes and LLM KV caches — compress by the metric the downstream consumer actually uses. PCA-Matryoshka + TurboQuant (27x @ 99.8% recall@10), asymmetric K/V, CUDA/Triton kernels, vLLM plugin, replayable CI-gated claims. MIT.
MIT21 жовт. 2026 р. · метрики 2.10.0
npm
jiangge/pi-cache-optimizer
Improve Pi prompt/KV cache hit rates with stable prompts, OpenAI-compatible cache keys, proxy compat warnings, and footer cache stats.
MIT13 вер. 2026 р. · метрики 2.10.0
Go · PyPI
anthony-chaudhary/fak
Agentic Runtime
Apache-2.010 вер. 2026 р. · метрики 2.10.0
PyPI
varjoranta/turboquant-vllm
TurboQuant+ KV cache compression for vLLM. 3.8x smaller KV cache, same conversation quality. Fused CUDA kernels with automatic PyTorch fallback.
MIT12 вер. 2026 р. · метрики 2.10.0
PyPI
jagmarques/nexusquant
Training-free KV cache compression via E8 lattice VQ. 2-bit KV that preserves retrieval (30/30 NIAH vs TurboQuant 0/30). Calibration-free, 9 architectures validated.
Власна ліцензія16 лип. 2026 р. · метрики 2.10.0
npm
lloyal-ai/hdk
Harness Development Kit for Vertical Inference
Власна ліцензія8 вер. 2026 р. · метрики 2.10.0
crates.io
RecursiveIntell/turbo-quant
Experimental Rust vector-compression sidecars implementing TurboQuant (ICLR 2026), PolarQuant and QJL research primitives, with exact reranking and workload-scoped benchmark receipts.
MIT20 жовт. 2026 р. · метрики 2.10.0