全部标签
目录标签

#quantization

公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。

47 条记录
标签为“quantization”按健康指数排序
PyPI
67良好健康指数
google-ai-edge/LiteRT-CLI
A convenient CLI to streamline LiteRT related development workflows, including converting, quantizing, compiling, managing, running, benchmarking and visualizing LiteRT (TFLite) models on various hardwares (CPU / GPU / NPU) across platforms (desktop, mobile or cloud).
Python★ 41↓ 80/月2026年9月8日
Apache-2.02026年9月8日 · 指标 2.10.0
PyPI
67良好健康指数
pjordanandrsn/grouped-nf4-gemm
Triton kernels for 4-bit MoE inference: grouped NF4/MXFP4 GEMM, INT4 GEMV, FP8 paged attention, and CPU/NVMe expert streaming.
Python★ 2↓ 3,717/月2026年9月24日
MIT2026年9月24日 · 指标 2.10.0
PyPI
65良好健康指数
SYSTRAN/faster-whisper
Faster Whisper transcription with CTranslate2
Python★ 25.4K↓ 8.7M/月2026年9月16日
MIT2026年9月16日 · 指标 2.10.0
PyPI
65良好健康指数
asher/gmlx
Local inference platform for K/IQ-quant GGUF models on Apple Silicon
Python★ 31↓ 2,075/月2026年9月25日
自定义许可证2026年9月25日 · 指标 2.10.0
PyPI
63中等健康指数
jagmarques/nexusquant
Training-free KV cache compression via E8 lattice VQ. 2-bit KV that preserves retrieval (30/30 NIAH vs TurboQuant 0/30). Calibration-free, 9 architectures validated.
Python★ 252026年7月16日
自定义许可证2026年7月16日 · 指标 2.10.0
PyPI
62中等健康指数
RobTand/gridbook
Out-of-tree vLLM plugin and open format spec for NVFP4-CB / FP8-CB product-codebook weights — 2-6 bit-per-weight LLM quantization served on native Blackwell tensor cores.
Python · Cuda★ 12↓ 1,474/月2026年9月18日
Apache-2.02026年9月18日 · 指标 2.10.0
PyPI
60中等健康指数
manunicholasjacob/llama-roofline
Is your llama.cpp decode memory-bandwidth-bound? Find out in one command.
Python★ 1↓ 12.4K/月2026年10月13日
MIT2026年10月13日 · 指标 2.10.0
PyPI
59中等健康指数
jjang-ai/jangq
JANG — GGUF for MLX. YOU MUST USE JANG_Q RUNTIME. Adaptive Mixed-Precision Quantization + Runtime for Apple Silicon
Python · Swift★ 225↓ 1,557/月2026年9月13日
无许可证2026年9月13日 · 指标 2.10.0
PyPI · npm · crates.io
54中等健康指数
JunHwan-Kwon/deepbom
Local static analysis and evidence generation for deployed AI model artifacts
JavaScript · Rust★ 2↓ 8,091/月2026年10月21日
Apache-2.02026年10月21日 · 指标 2.10.0
npm
54中等健康指数
mkbabb/value.js
CSS value units for color, length, angles, & c.
TypeScript★ 0↓ 156/月2026年9月12日
MIT2026年9月12日 · 指标 2.10.0
crates.io
42薄弱健康指数
RecursiveIntell/turbo-quant
Experimental Rust vector-compression sidecars implementing TurboQuant (ICLR 2026), PolarQuant and QJL research primitives, with exact reranking and workload-scoped benchmark receipts.
Rust · Python★ 26↓ 2,127/月2026年10月20日
MIT2026年10月20日 · 指标 2.10.0
npm
42薄弱健康指数
stfurkan/bitgpu
Fast WebGPU runtime for 1-bit (binary-weight) LLMs in the browser. Bit-exact, zero runtime dependencies.
TypeScript · WGSL · Python★ 27↓ 204/月2026年9月14日
MIT2026年9月14日 · 指标 2.10.0
PyPI
38薄弱健康指数
fermionresearch/phonon
Phonon: open speech recognition models (Phonon-2, Phonon-1) — CLI, CPU and CUDA images
Python★ 2582026年10月20日
Apache-2.02026年10月20日 · 指标 2.10.0
PyPI
22存在风险健康指数
nactttch/g2n
A torch.compile backend that pays attention: custom FX fusion passes, a Triton LayerNorm kernel, and a persistent compile cache. Apache-2.0 free core of the g2n platform.
Python★ 0↓ 2,377/月2026年9月15日
Apache-2.02026年9月15日 · 指标 2.10.0
PyPI
19危急健康指数
blue-oil/blueoil
Bring Deep Learning to small devices
Python · C++★ 2472026年9月11日
Apache-2.02026年9月11日 · 指标 2.10.0