PyPI
ggml-org/llama.cpp
LLM inference in C/C++
MIT2026年8月4日 · 指标 2.10.0
全部标签
目录标签
#gguf
公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。
29 条记录
PyPI
intel/auto-round
A SOTA quantization algorithm for high-accuracy low-bit LLM inference, seamlessly optimized for CPU/XPU/CUDA, with multi-datatype support and full compatibility with vLLM, SGLang, and Transformers.
Apache-2.02026年7月16日 · 指标 2.10.0
npm
huggingface/huggingface.js
Use Hugging Face with JavaScript
MIT2026年8月27日 · 指标 2.10.0
PyPI · npm
modelscope/FunASR
Open-source speech recognition toolkit for training, inference, streaming ASR, VAD, punctuation, speaker diarization pipelines, and OpenAI-compatible/MCP serving.
MIT2026年8月5日 · 指标 2.10.0
Go
defilantech/LLMKube
Kubernetes operator for self-hosted LLM inference across a heterogeneous GPU fleet: NVIDIA CUDA, AMD Vulkan, and Apple Silicon Metal. Runtimes: llama.cpp, vLLM, TGI, mlx-server. Multi-GPU sharding, model caching, OpenAI-compatible endpoints. Apache-2.0, run across homelab and on-prem fleets, actively developed.
Apache-2.02026年9月5日 · 指标 2.10.0
crates.io · PyPI · npm
AlexsJones/llmfit
Hundreds of models & providers. One command to find what runs on your hardware.
MIT2026年8月5日 · 指标 2.10.0
npm
withcatai/node-llama-cpp
Run AI models locally on your machine with node.js bindings for llama.cpp. Enforce a JSON schema on the model output on the generation level
MIT2026年8月27日 · 指标 2.10.0
PyPI
MakazhanAlpamys/Soup
Soup turns the pain of LLM fine-tuning into a simple workflow. One config, one command, done.
Apache-2.02026年7月15日 · 指标 2.10.0
PyPI · npm
n24q02m/mcp-core
Shared foundation for building MCP servers -- Streamable HTTP transport, OAuth 2.1, browser-based credential setup, and a shared embedding daemon.
Apache-2.02026年8月22日 · 指标 2.10.0
crates.io · Maven
eugenehp/llama-cpp-rs
A wrapper around the llama-cpp library for rust, including new Sampler API from llama-cpp.
Apache-2.02026年8月22日 · 指标 2.10.0
Go
gpustack/gguf-parser-go
Review/Check GGUF files and estimate the memory usage and maximum tokens per second.
MIT2026年9月5日 · 指标 2.10.0
Go · npm
kdeps/kdeps
Run AI workflows locally. Or deploy them anywhere. AI agent framework in YAML — workflow pipelines + autonomous agent loop. NVIDIA Inception member. Build, deploy, export as Docker/K8s/ISO.
Apache-2.02026年7月24日 · 指标 2.10.0
PyPI
Sahil170595/Chimeraforge
PyPI capacity-planning CLI for LLM deployment. pip install chimeraforge.
MIT2026年8月22日 · 指标 2.10.0
crates.io
ThreatFlux/gguf
A rust gguf library
MIT2026年8月5日 · 指标 2.10.0
Go
hybridgroup/yzma
Go with your own intelligence - Go applications that directly integrate llama.cpp for local inference using hardware acceleration.
自定义许可证2026年7月17日 · 指标 2.10.0
PyPI
asher/mlx-kquant
Native K-quant support for MLX, with a quantization and fine-tuning toolchain for Apple Silicon
MIT2026年8月23日 · 指标 2.10.0
PyPI · crates.io
handy-computer/transcribe.cpp
ggml speech-to-text inference for 16+ model families
MIT2026年7月17日 · 指标 2.10.0
npm
wundercorp/openmodel
Use any AI model, locally or in the cloud, while tracking on-device token usage and collecting token telemetry data.
Apache-2.02026年8月7日 · 指标 2.10.0
Go
aimd54/palan
Pull, push, pack, and serve GGUF models as OCI ModelPack artifacts — daemonless, air-gap-first, one binary
Apache-2.02026年7月17日 · 指标 2.10.0
Go · PyPI
anthony-chaudhary/fak
fak — the Fused Agent Kernel: one Go binary for AI agent loops. Wrap Claude Code/Codex/Cursor, keep long sessions cache-efficient, route work per call, run local GGUF models, and adjudicate tool calls.
Apache-2.02026年7月17日 · 指标 2.10.0
PyPI · crates.io
FedericoTs/quantprobe
Run a 110B on a 2016 PC with 16 GB RAM. Know your tok/s before you download. Placement beats budget: predicts speed + memory fit for any GGUF on your exact hardware, self-calibrates, emits the exact llama.cpp command — or 'quantprobe auto' does it all. Falsification-tested laws; misses published at full size. pip install quantprobe
MIT2026年8月20日 · 指标 2.10.0
npm
therealtimex/node-llama-cpp
Run AI models locally on your machine with node.js bindings for llama.cpp. Enforce a JSON schema on the model output on the generation level
MIT2026年7月17日 · 指标 2.10.0
—
eastriverlee/LLM.swift
LLM.swift is a simple and readable library that allows you to interact with large language models locally with ease for macOS, iOS, watchOS, tvOS, and visionOS.
MIT2026年7月28日 · 指标 2.10.0
Maven · npm
integrallis/models
In-JVM small language model inference
Apache-2.02026年9月4日 · 指标 2.10.0
npm
mohitsoni48/TurboLLM
Run any local LLM engine, auto-tuned to your GPU — polished web UI + OpenAI/Anthropic-compatible API. Point Claude Code at your own machine in one command. No Electron, no Python, offline-first.
无许可证2026年7月16日 · 指标 2.10.0
PyPI
jjang-ai/jangq
JANG — GGUF for MLX. YOU MUST USE JANG_Q RUNTIME. Adaptive Mixed-Precision Quantization + Runtime for Apple Silicon
无许可证2026年7月22日 · 指标 2.10.0
PyPI · npm · crates.io
JunHwan-Kwon/deepbom
Local static analysis and evidence generation for deployed AI model artifacts
Apache-2.02026年9月4日 · 指标 2.10.0
npm · crates.io · Maven
arusatech/llama-cpp-pro
Llama cpp + CapacitorJS support
MIT2026年7月31日 · 指标 2.10.0
—
calcuis/gguf-connector
gguf (GPT-Generated Unified Format) connector
MIT2026年8月31日 · 指标 2.10.0