llm-inference — 开源软件健康

Maven · PyPI

90优秀健康指数

Ray is an AI compute engine. Ray consists of a core distributed runtime and a set of AI Libraries for accelerating ML workloads.

Python · C++★ 43.3K2026年7月17日

Apache-2.02026年7月17日 · 指标 1.13.0

crates.io · PyPI

89优秀健康指数

dynemo-ai/dynemo

A Datacenter Scale Distributed Inference Serving Framework

Rust · Python · Go★ 7,5262026年7月19日

自定义许可证2026年7月19日 · 指标 1.13.0

PyPI · crates.io

88优秀健康指数

ai-dynamo/dynamo

A Datacenter Scale Distributed Inference Serving Framework

Rust · Python · Go★ 7,5142026年7月17日

自定义许可证2026年7月17日 · 指标 1.13.0

Go · PyPI

87优秀健康指数

kubeflow/kfserving

Standardized Distributed Generative and Predictive AI Inference Platform for Scalable, Multi-Framework Deployment on Kubernetes

Go · Python★ 5,7052026年7月17日

Apache-2.02026年7月17日 · 指标 1.13.0

PyPI

85优秀健康指数

flashinfer-ai/flashinfer

FlashInfer: Kernel Library for LLM Serving

Python · Cuda · C++★ 5,988↓ 3M/月2026年7月21日

Apache-2.02026年7月21日 · 指标 1.13.0

Go · PyPI

85优秀健康指数

kserve/kserve

Standardized Distributed Generative and Predictive AI Inference Platform for Scalable, Multi-Framework Deployment on Kubernetes

Go · Python★ 5,7052026年7月17日

Apache-2.02026年7月17日 · 指标 1.13.0

PyPI

79良好健康指数

lemonade-sdk/lemonade

Lemonade helps users discover and run local AI apps by serving optimized LLMs right from their own GPUs and NPUs. Join our discord: https://discord.gg/5xXzkMu8Zk

C++ · Python · TypeScript★ 4,9642026年7月17日

Apache-2.02026年7月17日 · 指标 1.13.0

Packagist

78良好健康指数

neuron-core/neuron-ai

The Agentic Framework of the PHP ecosystem to build production-ready AI driven applications. Connect components (LLMs, Tools, vector DBs, memory) to agents that can interact with your data.

PHP★ 2,012↓ 168.1K/月2026年7月15日

MIT2026年7月15日 · 指标 1.13.0

Go · npm

75良好健康指数

matrixhub-ai/matrixhub

An Open-source, self-hosted AI model hub with Hugging Face compatibility, accelerating vLLM/SGLang performance.

Go · TypeScript★ 2562026年7月17日

Apache-2.02026年7月17日 · 指标 1.13.0

crates.io · npm

75良好健康指数

ruvnet/ruvector

RuVector is a High Performance, Real-Time, Self-Learning Ai, Vector GNN, Memory DB built in Rust.

Rust★ 4,351↓ 0/月2026年7月13日

MIT2026年7月13日 · 指标 1.13.0

Go · npm

73良好健康指数

ome-projects/ome

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

Go★ 4812026年7月21日

Apache-2.02026年7月21日 · 指标 1.13.0

PyPI

70良好健康指数

Nayjest/lm-proxy

OpenAI-compatible HTTP LLM proxy / gateway for multi-provider inference (Google, Anthropic, OpenAI, PyTorch). Lightweight, extensible Python/FastAPI—use as library or standalone service.

Python★ 1412026年7月15日

MIT2026年7月15日 · 指标 1.13.0

npm

65中等健康指数

requestyai/ai-sdk-requesty

The Requesty integration package for the Vercel AI SDK.

TypeScript★ 8↓ 15.5K/月2026年7月22日

Apache-2.02026年7月22日 · 指标 1.13.0

npm

62中等健康指数

webgptorg/promptbook

Turn your company's scattered knowledge into AI ready Books ✨

TypeScript★ 164↓ 11.5K/月2026年7月15日

自定义许可证2026年7月15日 · 指标 1.13.0

PyPI

60中等健康指数

jagmarques/nexusquant

Training-free KV cache compression via E8 lattice VQ. 2-bit KV that preserves retrieval (30/30 NIAH vs TurboQuant 0/30). Calibration-free, 9 architectures validated.

Python★ 252026年7月16日

自定义许可证2026年7月16日 · 指标 1.13.0

Go · PyPI

59中等健康指数

anthony-chaudhary/fak

fak — the Fused Agent Kernel: one Go binary for AI agent loops. Wrap Claude Code/Codex/Cursor, keep long sessions cache-efficient, route work per call, run local GGUF models, and adjudicate tool calls.

Go · Python★ 152026年7月17日

Apache-2.02026年7月17日 · 指标 1.13.0

PyPI

55中等健康指数

ai-hypercomputer/jetstream

JetStream is a throughput and memory optimized engine for LLM inference on XLA devices, starting with TPUs (and GPUs in future -- PRs welcome).

Python★ 4512026年7月18日

Apache-2.02026年7月18日 · 指标 1.13.0

PyPI

55中等健康指数

google/jetstream

JetStream is a throughput and memory optimized engine for LLM inference on XLA devices, starting with TPUs (and GPUs in future -- PRs welcome).

Python★ 4512026年7月18日

Apache-2.02026年7月18日 · 指标 1.13.0

npm

48存在风险健康指数

empirical-run/empirical

Test and evaluate LLMs and model configurations, across all the scenarios that matter for your application

TypeScript★ 1672026年7月15日

MIT2026年7月15日 · 指标 1.13.0

#llm-inference