PyPI
openvinotoolkit/nncf
Neural Network Compression Framework for enhanced OpenVINO™ inference
Apache-2.02026年8月13日 · 指标 2.10.0
全部标签
目录标签
#quantization
公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。
34 条记录
PyPI
intel/auto-round
A SOTA quantization algorithm for high-accuracy low-bit LLM inference, seamlessly optimized for CPU/XPU/CUDA, with multi-datatype support and full compatibility with vLLM, SGLang, and Transformers.
Apache-2.02026年7月16日 · 指标 2.10.0
PyPI
pytorch/ao
PyTorch native quantization and sparsity for training and inference
自定义许可证2026年7月21日 · 指标 2.10.0
PyPI
bitsandbytes-foundation/bitsandbytes
Accessible large language models via k-bit quantization for PyTorch.
MIT2026年8月27日 · 指标 2.10.0
PyPI
vllm-project/llm-compressor
Transformers-compatible library for applying various compression algorithms to LLMs for optimized deployment with vLLM
Apache-2.02026年7月25日 · 指标 2.10.0
PyPI
huggingface/optimum
🚀 Accelerate inference and training of 🤗 Transformers, Diffusers, TIMM and Sentence Transformers with easy to use hardware optimization tools
Apache-2.02026年7月21日 · 指标 2.10.0
PyPI
ModelCloud/GPTQModel
LLM model quantization (compression) toolkit with HW acceleration support for Nvidia, AMD, Intel GPU and Intel/AMD/Apple CPU via HF, vLLM, and SGLang.
自定义许可证2026年7月17日 · 指标 2.10.0
PyPI
Xilinx/brevitas
Brevitas: neural network quantization in PyTorch
自定义许可证2026年7月22日 · 指标 2.10.0
PyPI · crates.io
RyanCodrai/turbovec
A vector index built on TurboQuant, written in Rust with Python bindings
MIT2026年8月23日 · 指标 2.10.0
PyPI
OpenNMT/CTranslate2
Fast inference engine for Transformer models
MIT2026年8月27日 · 指标 2.10.0
PyPI · npm
rajveer43/VeloxQuant-MLX
Fast KV-cache quantization for Apple Silicon (MLX) — 43 research-adapted compression methods with Metal kernels
MIT2026年9月5日 · 指标 2.10.0
PyPI
google-ai-edge/ai-edge-quantizer
AI Edge Quantizer: flexible post training quantization for LiteRT models.
Apache-2.02026年8月28日 · 指标 2.10.0
PyPI
manjunathshiva/turboquant-mlx
Extreme weight + KV cache compression for LLMs on Apple Silicon (MLX implementation of Google's TurboQuant)
自定义许可证2026年8月28日 · 指标 2.10.0
PyPI
mobilint/mblt-model-zoo
Mobilint Model Zoo Project
BSD-3-Clause2026年8月1日 · 指标 2.10.0
PyPI
Sahil170595/Chimeraforge
PyPI capacity-planning CLI for LLM deployment. pip install chimeraforge.
MIT2026年8月22日 · 指标 2.10.0
crates.io · npm · PyPI
ohdearquant/lattice
Run, quantize, and fine-tune LLMs on Apple Silicon. Pure Rust, no Python, no CUDA, no ONNX
Apache-2.02026年8月22日 · 指标 2.10.0
PyPI · crates.io
ahb-sjsu/turboquant-pro
Consumer-aware compression for embedding indexes and LLM KV caches — compress by the metric the downstream consumer actually uses. PCA-Matryoshka + TurboQuant (27x @ 99.8% recall@10), asymmetric K/V, CUDA/Triton kernels, vLLM plugin, replayable CI-gated claims. MIT.
MIT2026年9月5日 · 指标 2.10.0
PyPI
huggingface/optimum-quanto
A pytorch quantization backend for optimum
Apache-2.02026年8月13日 · 指标 2.10.0
PyPI
Comfy-Org/comfy-kitchen
Fast kernel library for Diffusion inference with multiple compute backends.
Apache-2.02026年7月18日 · 指标 2.10.0
PyPI
asher/mlx-kquant
Native K-quant support for MLX, with a quantization and fine-tuning toolchain for Apple Silicon
MIT2026年8月23日 · 指标 2.10.0
PyPI
varjoranta/turboquant-vllm
TurboQuant+ KV cache compression for vLLM. 3.8x smaller KV cache, same conversation quality. Fused CUDA kernels with automatic PyTorch fallback.
MIT2026年7月22日 · 指标 2.10.0
PyPI · crates.io
FedericoTs/quantprobe
Run a 110B on a 2016 PC with 16 GB RAM. Know your tok/s before you download. Placement beats budget: predicts speed + memory fit for any GGUF on your exact hardware, self-calibrates, emits the exact llama.cpp command — or 'quantprobe auto' does it all. Falsification-tested laws; misses published at full size. pip install quantprobe
MIT2026年8月20日 · 指标 2.10.0
PyPI
RobTand/gridbook
Out-of-tree vLLM plugin and open format spec for NVFP4-CB / FP8-CB product-codebook weights — 2-6 bit-per-weight LLM quantization served on native Blackwell tensor cores.
Apache-2.02026年8月15日 · 指标 2.10.0
PyPI
SYSTRAN/faster-whisper
Faster Whisper transcription with CTranslate2
MIT2026年8月5日 · 指标 2.10.0
PyPI
google-ai-edge/LiteRT-CLI
A convenient CLI to streamline LiteRT related development workflows, including converting, quantizing, compiling, managing, running, benchmarking and visualizing LiteRT (TFLite) models on various hardwares (CPU / GPU / NPU) across platforms (desktop, mobile or cloud).
Apache-2.02026年7月15日 · 指标 2.10.0
PyPI
jagmarques/nexusquant
Training-free KV cache compression via E8 lattice VQ. 2-bit KV that preserves retrieval (30/30 NIAH vs TurboQuant 0/30). Calibration-free, 9 architectures validated.
自定义许可证2026年7月16日 · 指标 2.10.0
npm
mkbabb/value.js
CSS value units for color, length, angles, & c.
MIT2026年7月20日 · 指标 2.10.0
PyPI
jjang-ai/jangq
JANG — GGUF for MLX. YOU MUST USE JANG_Q RUNTIME. Adaptive Mixed-Precision Quantization + Runtime for Apple Silicon
无许可证2026年7月22日 · 指标 2.10.0
PyPI · npm · crates.io
JunHwan-Kwon/deepbom
Local static analysis and evidence generation for deployed AI model artifacts
Apache-2.02026年9月4日 · 指标 2.10.0
PyPI
pjordanandrsn/experts4bit-qlora
QLoRA fine-tuning of fused 4-bit Mixture-of-Experts on a single small GPU (bitsandbytes Experts4bit)
自定义许可证2026年8月1日 · 指标 2.10.0