llama-cpp — 开源软件健康

PyPI · npm

97卓越健康指数

Swap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.

Python · TypeScript★ 9,579↓ 8,895/月2026年9月20日

Apache-2.02026年9月20日 · 指标 2.10.0

npm

95卓越健康指数

juspay/neurolink

One TypeScript interface for 24+ LLM providers — swap providers without rewriting. MCP-native (connect any MCP server), voice (TTS/STT/realtime), RAG, memory, file processors. Production-origin: powers Tara, Yama, and Clairvoyance at Juspay.

TypeScript★ 133↓ 55.6K/月2026年9月10日

MIT2026年9月10日 · 指标 2.10.0

PyPI · npm

94卓越健康指数

modelscope/FunASR

Open-source speech recognition toolkit for training, inference, streaming ASR, VAD, punctuation, speaker diarization pipelines, and OpenAI-compatible/MCP serving.

Python · C · HTML★ 20.4K2026年9月16日

MIT2026年9月16日 · 指标 2.10.0

npm

93卓越健康指数

Nano-Collective/nanocoder

An open coding agent for your terminal, built by a community collective rather than a company. Bring your own model, keep your code on your machine, and owe nothing to anyone.

TypeScript★ 2,376↓ 9,541/月2026年8月25日

自定义许可证2026年8月25日 · 指标 2.10.0

89优秀健康指数

defilantech/LLMKube

Kubernetes operator for self-hosted LLM inference across a heterogeneous GPU fleet: NVIDIA CUDA, AMD Vulkan, and Apple Silicon Metal. Runtimes: llama.cpp, vLLM, TGI, mlx-server. Multi-GPU sharding, model caching, OpenAI-compatible endpoints. Apache-2.0, run across homelab and on-prem fleets, actively developed.

Go★ 2072026年9月5日

Apache-2.02026年9月5日 · 指标 2.10.0

NuGet

88优秀健康指数

SciSharp/LLamaSharp

A C#/.NET library to run LLM (🦙LLaMA/LLaVA) on your local device efficiently.

C# · JavaScript★ 3,7912026年9月11日

MIT2026年9月11日 · 指标 2.10.0

npm · Maven

88优秀健康指数

mybigday/llama.rn

React Native binding of llama.cpp

C++ · C★ 1,034↓ 97.5K/月2026年9月9日

MIT2026年9月9日 · 指标 2.10.0

npm

87优秀健康指数

withcatai/node-llama-cpp

Run AI models locally on your machine with node.js bindings for llama.cpp. Enforce a JSON schema on the model output on the generation level

TypeScript★ 2,162↓ 3.6M/月2026年8月27日

MIT2026年8月27日 · 指标 2.10.0

PyPI

84优秀健康指数

Sahil170595/Chimeraforge

PyPI capacity-planning CLI for LLM deployment. pip install chimeraforge.

Python★ 2↓ 3,833/月2026年10月20日

MIT2026年10月20日 · 指标 2.10.0

PyPI

84优秀健康指数

tobocop2/lilbee

The whole local AI stack in one executable: it runs and manages local AI models across every GPU, and it's a search engine you can talk to, with cited answers from your files, code, and the web. MCP server for coding agents, web crawler, TUI, CLI, REST API, Python library. No Ollama or LM Studio needed, works with both.

Python★ 54↓ 3,110/月2026年9月18日

MIT2026年9月18日 · 指标 2.10.0

81优秀健康指数

gpustack/gguf-parser-go

Review/Check GGUF files and estimate the memory usage and maximum tokens per second.

Go★ 2952026年9月5日

MIT2026年9月5日 · 指标 2.10.0

Go · npm

81优秀健康指数

lordmathis/llamactl

Unified management and routing for llama.cpp, MLX and vLLM models with web dashboard.

Go · TypeScript★ 1522026年9月20日

MIT2026年9月20日 · 指标 2.10.0

77良好健康指数

aimd54/palan

Distribute GGUF and safetensors weights through any OCI registry, with signatures verified before a byte moves. Daemonless, runs offline, one static binary.

Go★ 02026年9月10日

Apache-2.02026年9月10日 · 指标 2.10.0

77良好健康指数

airiclenz/apogee

Terminal coding agent for local LLMs (llama.cpp, Ollama, vLLM) and any OpenAI-compatible API. OS-sandboxed autonomy, MCP, sessions. Go.

Go★ 82026年10月20日

MIT2026年10月20日 · 指标 2.10.0

npm

77良好健康指数

jcode-works/jcode-ragmir

Confidential local RAG for your coding agents.

TypeScript · JavaScript★ 6↓ 4,128/月2026年9月13日

AGPL-3.02026年9月13日 · 指标 2.10.0

npm

77良好健康指数

mybigday/llama.node

Node.js binding of llama.cpp

C++ · TypeScript · JavaScript★ 21↓ 2,897/月2026年9月13日

无许可证2026年9月13日 · 指标 2.10.0

PyPI · crates.io · npm

75良好健康指数

kharkevich-engineering-lab/spark-pulse

Spark Pulse is a web control plane for spark-vllm-docker

Python · TypeScript★ 11↓ 3,444/月2026年9月21日

自定义许可证2026年9月21日 · 指标 2.10.0

PyPI

71良好健康指数

rokbenko/quackd

One CLI for all your robots. Connect them, command them, and let them work together, each with an LLM for a brain (Claude, OpenAI, Gemini, Grok, or local via Ollama or vLLM), VLAs for arms and decision LLMs (Jev, Laya, Kev). Drives Microduck, Open Duck Mini, LeRobot, XLeRobot, AlohaMini, ToddlerBot, or any ROS 2 base from a laptop, offboard.

Python★ 268↓ 2,077/月2026年10月21日

Apache-2.02026年10月21日 · 指标 2.10.0

PyPI · crates.io

69良好健康指数

FedericoTs/quantprobe

Run a 110B on a 2016 PC with 16 GB RAM. Know your tok/s before you download. Placement beats budget: predicts speed + memory fit for any GGUF on your exact hardware, self-calibrates, emits the exact llama.cpp command — or 'quantprobe auto' does it all. Falsification-tested laws; misses published at full size. pip install quantprobe

Python★ 90↓ 490/月2026年10月19日

MIT2026年10月19日 · 指标 2.10.0

npm

69良好健康指数

IBazylchuk/paparats-mcp

Local‑first MCP server for multi‑repository semantic code search with Qdrant and llama. Turns your entire workspace into private context for AI coding assistants like Claude Code, Codex, Cursor, Copilot, Antigravity and Windsurf.

TypeScript★ 10↓ 2,593/月2026年9月10日

MIT2026年9月10日 · 指标 2.10.0

63中等健康指数

BalanceBalls/nekot

A portable terminal AI interface

Go★ 1952026年9月10日

MIT2026年9月10日 · 指标 2.10.0

npm

63中等健康指数

yoloshii/ClawMem

On-device memory layer for AI agents. Claude Code, OpenClaw and Hermes. Hooks + MCP server + hybrid RAG search.

TypeScript★ 210↓ 737/月2026年9月13日

MIT2026年9月13日 · 指标 2.10.0

Go · PyPI

62中等健康指数

scoutme/milk

milk — a CLI/TUI that routes prompts between agents: a primary agent and a configurable escalation agent, with session-aware state management and real-time streaming. Escalation happens automatically (via routing rules) or manually, preserving context across the handoff between agents.

Go★ 62026年9月17日

MIT2026年9月17日 · 指标 2.10.0

62中等健康指数

spencerbull/Yokai

Terminal-first GPU fleet manager for deploying, monitoring, and managing vLLM, llama.cpp, and ComfyUI workloads.

Go · TypeScript★ 42026年10月19日

MIT2026年10月19日 · 指标 2.10.0

PyPI · npm

62中等健康指数

winterop-com/stabbur

stabbur — the Norwegian storehouse for your models: build a local LLM library, then run, chat and serve it with MCP tools. Source-available, proprietary.

Python · TypeScript★ 0↓ 2,559/月2026年9月18日

自定义许可证2026年9月18日 · 指标 2.10.0

npm

60中等健康指数

eeshansrivastava89/minimal-ai

Privacy-first CLI for running local LLMs — discover, configure, run, benchmark

JavaScript · TypeScript★ 1↓ 6,668/月2026年9月10日

无许可证2026年9月10日 · 指标 2.10.0

PyPI

60中等健康指数

manunicholasjacob/llama-roofline

Is your llama.cpp decode memory-bandwidth-bound? Find out in one command.

Python★ 1↓ 12.4K/月2026年10月13日

MIT2026年10月13日 · 指标 2.10.0

npm

59中等健康指数

mohitsoni48/TurboLLM

Run any local LLM engine, auto-tuned to your GPU — polished web UI + OpenAI/Anthropic-compatible API. Point Claude Code at your own machine in one command. No Electron, no Python, offline-first.

TypeScript★ 261↓ 3,713/月2026年9月9日

无许可证2026年9月9日 · 指标 2.10.0

npm

57中等健康指数