Go · crates.io · npm
teranos/QNTX
QNTX = Experiential ꩜ Learning ⌬ System ≡ Attestation +
MIT2026年8月1日 · 指标 2.10.0
全部标签
目录标签
#inference
公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。
106 条记录
PyPI
varjoranta/turboquant-vllm
TurboQuant+ KV cache compression for vLLM. 3.8x smaller KV cache, same conversation quality. Fused CUDA kernels with automatic PyTorch fallback.
MIT2026年7月22日 · 指标 2.10.0
Packagist
RubixML/ML
A high-level machine learning and deep learning library for the PHP language.
MIT2026年7月22日 · 指标 2.10.0
PyPI · npm
jjang-ai/vmlx
vMLX - JANGTQ Uber Compressed MLX Models - L2 Disk Cache (survives restart) + L1 Paged (super fast ttft) + Hybrid SSM Scheduler + Cont Batching + etc!
Apache-2.02026年7月24日 · 指标 2.10.0
Go
Ericson246/npu-optimize
Hardware-aware CLI that detects NPUs/GPUs, finds compatible GGUF models, and recommends optimal llama.cpp inference configs
MIT2026年7月17日 · 指标 2.10.0
PyPI
NevermindNilas/Nelux
NeLux: High-performance video processing for Python, powered by FFmpeg and PyTorch. Ultra-fast video decoding directly to tensors.
AGPL-3.02026年7月19日 · 指标 2.10.0
Go · npm
OpenCSGs/csglite
CSGLite is a lightweight local LLM inference platform. One command downloads, loads, and chats with models. It ships a web UI, OpenAI-compatible API, llama.cpp inference, resumable downloads, marketplace browsing, and one-click AI app and coding-agent setup—all in a single cross-platform binary.
Apache-2.02026年8月22日 · 指标 2.10.0
PyPI
RDFLib/OWL-RL
A simple implementation of the OWL2 RL Profile on top of RDFLib: it expands the graph with all possible triples that OWL RL defines. It can be used together with RDFLib to expand an RDFLib Graph object, or as a stand alone service with its own serialization.
自定义许可证2026年8月8日 · 指标 2.10.0
npm
gvergnaud/ts-pattern
🎨 The exhaustive Pattern Matching library for TypeScript, with smart type inference.
MIT2026年8月12日 · 指标 2.10.0
npm
wundercorp/openmodel
Use any AI model, locally or in the cloud, while tracking on-device token usage and collecting token telemetry data.
Apache-2.02026年8月7日 · 指标 2.10.0
npm
amanharshx/ultralytics-mcp
MCP for Ultralytics Platform workflows, datasets, training, prediction, and model operations.
MIT2026年7月23日 · 指标 2.10.0
Go · PyPI
anthony-chaudhary/fak
fak — the Fused Agent Kernel: one Go binary for AI agent loops. Wrap Claude Code/Codex/Cursor, keep long sessions cache-efficient, route work per call, run local GGUF models, and adjudicate tool calls.
Apache-2.02026年7月17日 · 指标 2.10.0
PyPI
skylight-org/sparse-attention-hub
Advancing the frontier of efficient AI
Apache-2.02026年7月17日 · 指标 2.10.0
PyPI · crates.io
FedericoTs/quantprobe
Run a 110B on a 2016 PC with 16 GB RAM. Know your tok/s before you download. Placement beats budget: predicts speed + memory fit for any GGUF on your exact hardware, self-calibrates, emits the exact llama.cpp command — or 'quantprobe auto' does it all. Falsification-tested laws; misses published at full size. pip install quantprobe
MIT2026年8月20日 · 指标 2.10.0
PyPI
RobTand/gridbook
Out-of-tree vLLM plugin and open format spec for NVFP4-CB / FP8-CB product-codebook weights — 2-6 bit-per-weight LLM quantization served on native Blackwell tensor cores.
Apache-2.02026年8月15日 · 指标 2.10.0
PyPI
SYSTRAN/faster-whisper
Faster Whisper transcription with CTranslate2
MIT2026年8月5日 · 指标 2.10.0
PyPI
druide67/asiai
Multi-engine LLM benchmark & monitoring CLI for Apple Silicon
Apache-2.02026年7月18日 · 指标 2.10.0
PyPI
jagmarques/nexusquant
Training-free KV cache compression via E8 lattice VQ. 2-bit KV that preserves retrieval (30/30 NIAH vs TurboQuant 0/30). Calibration-free, 9 architectures validated.
自定义许可证2026年7月16日 · 指标 2.10.0
npm
mcmcjs/mcmcjs
Command-line tools for Bayesian modelling, MCMC inference, and post-inference diagnostics across probabilistic programming languages.
MIT2026年9月5日 · 指标 2.10.0
PyPI · npm
seantalts/stanli
stanli, the Stan Language Interpreter: op-graph executor over precompiled stan-math kernels. Compile and sample Stan models with no C++ toolchain.
BSD-3-Clause2026年8月30日 · 指标 2.10.0
npm
inference-sh/sdk-js
该仓库未发布描述。
MIT2026年7月17日 · 指标 2.10.0
crates.io · PyPI
oramasearch/oramacore
OramaCore is the complete runtime you need for your projects, answer engines, copilots, and search. It includes a fully-fledged full-text search engine, vector database, LLM interface, and many more utilities.
AGPL-3.02026年8月28日 · 指标 2.10.0
PyPI · npm
mauriciobenjamin700/ort-vision-sdk
该仓库未发布描述。
MIT2026年8月3日 · 指标 2.10.0
npm
tangle-network/tcloud
TypeScript SDK, CLI, agent, and relayer for Tangle AI Cloud — decentralized LLM inference
无许可证2026年9月5日 · 指标 2.10.0
PyPI
ai-hypercomputer/jetstream
JetStream is a throughput and memory optimized engine for LLM inference on XLA devices, starting with TPUs (and GPUs in future -- PRs welcome).
Apache-2.02026年7月18日 · 指标 2.10.0
PyPI
pictograph-io/pictograph-sdk
Complete python SDK, CLI, and API reference for integrating with the Pictograph.io platform.
MIT2026年8月29日 · 指标 2.10.0
PyPI
Hai-Wenxiang/fusedtok
Fused CUDA kernels for LLM inference - RMSNorm / RoPE / SwiGLU
MIT2026年9月1日 · 指标 2.10.0
crates.io · PyPI
dshakes/firstpass
Route every LLM request to the cheapest model that provably passes your quality gate — with a signed, tamper-evident receipt for every decision. Proof over prediction.
Apache-2.02026年7月26日 · 指标 2.10.0
PyPI
google/jetstream
JetStream is a throughput and memory optimized engine for LLM inference on XLA devices, starting with TPUs (and GPUs in future -- PRs welcome).
Apache-2.02026年7月18日 · 指标 2.10.0
npm
mohitsoni48/TurboLLM
Run any local LLM engine, auto-tuned to your GPU — polished web UI + OpenAI/Anthropic-compatible API. Point Claude Code at your own machine in one command. No Electron, no Python, offline-first.
无许可证2026年7月16日 · 指标 2.10.0