Maven · PyPI
ray-project/ray
Ray is an AI compute engine. Ray consists of a core distributed runtime and a set of AI Libraries for accelerating ML workloads.
Apache-2.02026年8月5日 · 指标 2.10.0
全部标签
目录标签
#llm-inference
公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。
35 条记录
PyPI · crates.io
ai-dynamo/dynamo
A Datacenter Scale Distributed Inference Serving Framework
自定义许可证2026年8月28日 · 指标 2.10.0
PyPI
kvcache-ai/Mooncake
Mooncake is the serving platform for Kimi, a leading LLM service provided by Moonshot AI.
Apache-2.02026年8月12日 · 指标 2.10.0
PyPI
flashinfer-ai/flashinfer
FlashInfer: Kernel Library for LLM Serving
Apache-2.02026年8月27日 · 指标 2.10.0
Go · PyPI
kserve/kserve
Standardized Distributed Generative and Predictive AI Inference Platform for Scalable, Multi-Framework Deployment on Kubernetes
Apache-2.02026年8月28日 · 指标 2.10.0
PyPI
bentoml/BentoML
The easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!
Apache-2.02026年8月12日 · 指标 2.10.0
PyPI
gpustack/gpustack
A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.
Apache-2.02026年8月2日 · 指标 2.10.0
PyPI
lemonade-sdk/lemonade
Lemonade helps users discover and run local AI apps by serving optimized LLMs right from their own GPUs and NPUs. Join our discord: https://discord.gg/5xXzkMu8Zk
Apache-2.02026年8月28日 · 指标 2.10.0
PyPI
monocle2ai/monocle
Monocle is a framework for tracing GenAI app code. This repo contains implementation of Monocle for GenAI apps written in Python.
Apache-2.02026年8月28日 · 指标 2.10.0
PyPI
Lightning-AI/litgpt
20+ high-performance LLMs with recipes to pretrain, finetune and deploy at scale.
Apache-2.02026年8月27日 · 指标 2.10.0
npm
Nano-Collective/nanocoder
An open coding agent for your terminal, built by a community collective rather than a company. Bring your own model, keep your code on your machine, and owe nothing to anyone.
自定义许可证2026年8月25日 · 指标 2.10.0
npm · crates.io
ruvnet/RuVector
RuVector is a High Performance, Real-Time, Self-Learning Ai, Vector GNN, Memory DB built in Rust.
MIT2026年8月22日 · 指标 2.10.0
Packagist
neuron-core/neuron-ai
The Agentic Framework of the PHP ecosystem to build production-ready AI driven applications. Connect components (LLMs, Tools, vector DBs, memory) to agents that can interact with your data.
MIT2026年7月15日 · 指标 2.10.0
Go · npm
matrixhub-ai/matrixhub
An Open-source, self-hosted AI model hub with Hugging Face compatibility, accelerating vLLM/SGLang performance.
Apache-2.02026年7月17日 · 指标 2.10.0
Go · npm
ome-projects/ome
Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton
Apache-2.02026年7月21日 · 指标 2.10.0
PyPI
Nayjest/lm-proxy
OpenAI-compatible HTTP LLM proxy / gateway for multi-provider inference (Google, Anthropic, OpenAI, PyTorch). Lightweight, extensible Python/FastAPI—use as library or standalone service.
MIT2026年8月26日 · 指标 2.10.0
PyPI
algorithmicsuperintelligence/openevolve
Open-source implementation of AlphaEvolve
Apache-2.02026年8月28日 · 指标 2.10.0
PyPI
Sahil170595/Chimeraforge
PyPI capacity-planning CLI for LLM deployment. pip install chimeraforge.
MIT2026年8月22日 · 指标 2.10.0
npm
webgptorg/promptbook
Turn your company's scattered knowledge into AI ready Books ✨
自定义许可证2026年9月6日 · 指标 2.10.0
npm
requestyai/ai-sdk-requesty
The Requesty integration package for the Vercel AI SDK.
Apache-2.02026年7月22日 · 指标 2.10.0
PyPI
asher/mlx-kquant
Native K-quant support for MLX, with a quantization and fine-tuning toolchain for Apple Silicon
MIT2026年8月23日 · 指标 2.10.0
Go · PyPI
anthony-chaudhary/fak
fak — the Fused Agent Kernel: one Go binary for AI agent loops. Wrap Claude Code/Codex/Cursor, keep long sessions cache-efficient, route work per call, run local GGUF models, and adjudicate tool calls.
Apache-2.02026年7月17日 · 指标 2.10.0
PyPI
RobTand/gridbook
Out-of-tree vLLM plugin and open format spec for NVFP4-CB / FP8-CB product-codebook weights — 2-6 bit-per-weight LLM quantization served on native Blackwell tensor cores.
Apache-2.02026年8月15日 · 指标 2.10.0
Go
flexigpt/inference-go
A single interface in Go to get inference from multiple llm/ai providers using their official SDKs
MIT2026年8月3日 · 指标 2.10.0
PyPI
jagmarques/nexusquant
Training-free KV cache compression via E8 lattice VQ. 2-bit KV that preserves retrieval (30/30 NIAH vs TurboQuant 0/30). Calibration-free, 9 architectures validated.
自定义许可证2026年7月16日 · 指标 2.10.0
PyPI · crates.io
theoddden/Terradev
An imperative command-line-interface for AI workload orchestration
Apache-2.02026年8月23日 · 指标 2.10.0
—
eastriverlee/LLM.swift
LLM.swift is a simple and readable library that allows you to interact with large language models locally with ease for macOS, iOS, watchOS, tvOS, and visionOS.
MIT2026年7月28日 · 指标 2.10.0
—
lean-dojo/LeanCopilot
LLMs as Copilots for Theorem Proving in Lean
MIT2026年8月4日 · 指标 2.10.0
PyPI
ai-hypercomputer/jetstream
JetStream is a throughput and memory optimized engine for LLM inference on XLA devices, starting with TPUs (and GPUs in future -- PRs welcome).
Apache-2.02026年7月18日 · 指标 2.10.0
Go
flexigpt/llmtools-go
LLM Tool implementations for Golang
MIT2026年8月20日 · 指标 2.10.0