Усі теги
Тег каталогу

#llm-gateway

Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.

40 записів
З тегом «llm-gateway»Упорядковано за індексом здоров'я
Go · npm
97Винятковийіндекс здоров'я
maximhq/bifrost
Fastest enterprise AI gateway (50x faster than LiteLLM) with adaptive load balancer, cluster mode, guardrails, 1000+ models support & <100 µs overhead at 5k RPS.
Go · TypeScript★ 7 60828 серп. 2026 р.
Apache-2.028 серп. 2026 р. · метрики 2.10.0
PyPI · crates.io · npm
96Винятковийіндекс здоров'я
BerriAI/litellm
The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
Python · TypeScript★ 58.9K↓ 12.7M/міс16 вер. 2026 р.
Власна ліцензія16 вер. 2026 р. · метрики 2.10.0
npm
96Винятковийіндекс здоров'я
diegosouzapw/OmniRoute
Never stop coding. Free MIT AI gateway: one endpoint, 352 providers (150+ free), 1200+ models Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax. Works with Claude Code, Codex, Cursor, OpenCode, Cline & Copilot. Quota-aware auto-fallback, RTK+Caveman compression saves 15-95% tokens, MCP/A2A, Desktop/PWA. Built by 550+ contributors
TypeScript★ 67K↓ 290.6K/міс16 вер. 2026 р.
MIT16 вер. 2026 р. · метрики 2.10.0
Go
94Винятковийіндекс здоров'я
ENTERPILOT/GoModel
AI gateway / AI control plane / AI proxy written in Go. Unified OpenAI-compatible and Anthropic-compatible API for OpenAI, Anthropic, Gemini, Groq, xAI, Ollama, vLLM and more. A LiteLLM alternative with observability, guardrails, streaming, cost tracking, intelligent routing, sticky sessions, failover, real-time logs and usage tracking. Prod ready.
Go · JavaScript★ 1 14511 вер. 2026 р.
MIT11 вер. 2026 р. · метрики 2.10.0
PyPI · Go · npm
92Відміннийіндекс здоров'я
preloop/preloop
The open-source AI agent control plane: MCP firewall, model gateway with budgets, human approvals, runtime observability, and audit trails
Python · TypeScript★ 62↓ 364/міс18 вер. 2026 р.
Apache-2.018 вер. 2026 р. · метрики 2.10.0
npm
91Відміннийіндекс здоров'я
decolua/9router
Unlimited FREE AI coding. Connect Claude Code, Codex, Cursor, Cline, Copilot, Antigravity to FREE Claude/GPT/Gemini via 40+ providers. Auto-fallback, RTK -40% tokens, never hit limits.
JavaScript★ 29K16 вер. 2026 р.
MIT16 вер. 2026 р. · метрики 2.10.0
Go · npm
90Відміннийіндекс здоров'я
ferro-labs/ai-gateway
Unified AI Gateway for 30+ LLMs (OpenAI, Anthropic, Bedrock, Azure etc) with Caching, Guardrails, A/B test & cost controls. Go-native Fastest & Scalable AI Gateway LiteLLM & Kong AI Gateway alternative.
Go · TypeScript★ 2569 вер. 2026 р.
Apache-2.09 вер. 2026 р. · метрики 2.10.0
npm
88Відміннийіндекс здоров'я
Portkey-AI/gateway
A blazing fast AI Gateway with integrated guardrails. Route to 1,600+ LLMs, 50+ AI Guardrails with 1 fast & friendly API.
TypeScript★ 12.8K↓ 2 094/міс27 серп. 2026 р.
MIT27 серп. 2026 р. · метрики 2.10.0
Go · npm
87Відміннийіндекс здоров'я
NeuralTrust/TrustGate
Open-source AI gateway for LLM and agent traffic — multi-provider routing, guardrails, semantic caching and MCP support. Written in Go.
Go★ 1014 вер. 2026 р.
Apache-2.014 вер. 2026 р. · метрики 2.10.0
PyPI
86Відміннийіндекс здоров'я
Nayjest/lm-proxy
OpenAI-compatible HTTP LLM proxy / gateway for multi-provider inference (Google, Anthropic, OpenAI, PyTorch). Lightweight, extensible Python/FastAPI—use as library or standalone service.
Python★ 150↓ 1 822/міс26 серп. 2026 р.
MIT26 серп. 2026 р. · метрики 2.10.0
PyPI
86Відміннийіндекс здоров'я
Oaklight/llm-rosetta
Production-ready LLM API translation layer for Python — bidirectional conversion between OpenAI, Anthropic & Google formats via hub-and-spoke IR. Optional API gateway. Streaming & non-streaming. Zero core deps. Contributions welcome!
Python★ 75↓ 5 754/міс13 вер. 2026 р.
MIT13 вер. 2026 р. · метрики 2.10.0
npm
84Відміннийіндекс здоров'я
MikeyPetrillo/Agent402
agent402.tools: 500+ pay-per-call tools, metered models and finished reports for AI agents, paid per call in USDC over x402 and MPP or by card. Open source, self-hostable, MCP-native. The applied layer of agentic finance.
JavaScript★ 8↓ 9 873/міс9 вер. 2026 р.
AGPL-3.09 вер. 2026 р. · метрики 2.10.0
Go
83Відміннийіндекс здоров'я
wyolet/relay
High-throughput, self-hostable LLM router in Go. BYO provider keys, k8s-native, key pooling + batch + usage observability.
Go★ 2920 жовт. 2026 р.
Apache-2.020 жовт. 2026 р. · метрики 2.10.0
npm · PyPI
81Відміннийіндекс здоров'я
Das-rebel/a3m-router
⚠️ DEPRECATED — Use adaptive-memory-multi-model-router instead
TypeScript · Python · JavaScript★ 16↓ 3 366/міс18 вер. 2026 р.
MIT18 вер. 2026 р. · метрики 2.10.0
Go · npm
81Відміннийіндекс здоров'я
voidmind-io/voidllm
Privacy-first LLM proxy and AI gateway - load balancing, multi-provider routing, API key management, usage tracking, rate limiting. Self-hosted. Zero knowledge of your prompts.
Go · TypeScript★ 13416 вер. 2026 р.
Власна ліцензія16 вер. 2026 р. · метрики 2.10.0
npm
81Відміннийіндекс здоров'я
yuhp/opencode-models-discovery
A universal OpenCode plugin for dynamic model discovery with flexible configuration for OpenAI-compatible providers.
TypeScript★ 131↓ 429.1K/міс8 вер. 2026 р.
MIT8 вер. 2026 р. · метрики 2.10.0
Go · npm
80Відміннийіндекс здоров'я
hecatehq/hecate
AI workspace and runtime for projects, chats, providers, memory, approvals, and supervised agents.
Go · TypeScript★ 2319 жовт. 2026 р.
MIT19 жовт. 2026 р. · метрики 2.10.0
Go
80Відміннийіндекс здоров'я
r9s-ai/open-next-router
A lightweight, DSL-driven LLM gateway for routing, patching provider quirks, and normalizing APIs across channels
Go★ 265 вер. 2026 р.
MIT5 вер. 2026 р. · метрики 2.10.0
Go
78Добрийіндекс здоров'я
Temikus/butter
A blazingly fast AI proxy gateway.
Go★ 1419 вер. 2026 р.
Apache-2.019 вер. 2026 р. · метрики 2.10.0
Go
78Добрийіндекс здоров'я
gumieri/nenya
A lightweight, highly secure AI API Gateway/Proxy written in Go. Acts as transparent middleware between local AI coding clients (OpenCode/Pi/Cursor) and upstream LLM providers (Gemini, DeepSeek, Zhipu z.ai).
Go★ 2813 вер. 2026 р.
Apache-2.013 вер. 2026 р. · метрики 2.10.0
npm · crates.io · PyPI
77Добрийіндекс здоров'я
Fast-Editor/Lynkr
Streamline your workflow with Lynkr, a CLI tool that acts as an HTTP proxy for efficient code interactions using Claude Code CLI.
JavaScript · Rust★ 550↓ 1 969/міс14 вер. 2026 р.
Apache-2.014 вер. 2026 р. · метрики 2.10.0
crates.io · npm
77Добрийіндекс здоров'я
soapbucket/sbproxy
Open source Enterprise AI Gateway for API, MCP and agent, and AI model traffic. One Apache-2.0 binary: 72 native providers behind an OpenAI-compatible API, or serve vLLM and llama.cpp on your own GPUs. Keys, budgets, guardrails, semantic cache, WAF.
Rust★ 5314 вер. 2026 р.
Apache-2.014 вер. 2026 р. · метрики 2.10.0
PyPI · npm
75Добрийіндекс здоров'я
domondi1/inferrail
Self-hosted OpenAI/Anthropic-compatible gateway: give each AI agent run a dollar budget, enforced before the provider, with a payload-free per-run cost record.
Python★ 0↓ 4 824/міс5 жовт. 2026 р.
Apache-2.05 жовт. 2026 р. · метрики 2.10.0
Go
75Добрийіндекс здоров'я
openziti/llm-gateway
Zero trust LLM gateway. OpenAI-compatible proxy with semantic routing and load balancing across OpenAI, Anthropic, Ollama, vLLM, and any compatible backend. Identity-based access, virtual API keys, and end-to-end encryption via OpenZiti
Go★ 9519 вер. 2026 р.
Apache-2.019 вер. 2026 р. · метрики 2.10.0
PyPI · npm
73Добрийіндекс здоров'я
ninadphalak/LLM-Shield-Proxy
Streaming privacy for LLM apps: pii-leak-benchmark (does your gateway leak PII in streams?), chunk-invariance (one-line test for split-boundary leaks), mcp-ssrf-check, and a self-hosted redacting gateway.
Python★ 13↓ 4 234/міс20 жовт. 2026 р.
Apache-2.020 жовт. 2026 р. · метрики 2.10.0
Go
71Добрийіндекс здоров'я
dativo-io/talon
Control plane for company AI use cases — one self-hosted operating layer for shared budgets, policies, reliability, and session understanding, with verifiable evidence. EU-friendly: self-host, PII controls, data residency.
Go★ 1210 вер. 2026 р.
Apache-2.010 вер. 2026 р. · метрики 2.10.0
Go
69Добрийіндекс здоров'я
PAIArtCom/Clipal
Minimal LLM API reverse proxy for Claude Code, Codex CLI & Gemini CLI — YAML routing, hot reload, and automatic provider failover. 极简 LLM API 反向代理:面向 Claude Code / Codex CLI / Gemini CLI,支持 YAML 配置、多上游优先级与自动故障转移。
Go · JavaScript★ 1479 вер. 2026 р.
Без ліцензії9 вер. 2026 р. · метрики 2.10.0
PyPI · npm
65Добрийіндекс здоров'я
manojmallick/gavio
The open standard AI gateway — PII protection, audit, reliability & cost control as composable interceptors. Same API in Python, Java & JavaScript.
Java · Python · TypeScript★ 5↓ 265/міс11 вер. 2026 р.
MIT11 вер. 2026 р. · метрики 2.10.0
PyPI · npm
56Помірнийіндекс здоров'я
yamantaka520/Bastet-Agent-OS
Local-first control plane for AI-agent teams — orchestrates Claude Code, Codex, Grok, agy & Hermes into gated workflows that fix their own failures, with per-run metering, an append-only audit log, and team memory. Apache-2.0.
Python · TypeScript★ 2↓ 4 607/міс25 серп. 2026 р.
Apache-2.025 серп. 2026 р. · метрики 2.10.0
Go
53Помірнийіндекс здоров'я
axsh/arctic-tern
Open-source interoperability layer for Coding Agents & LLMs
Go★ 020 вер. 2026 р.
Apache-2.020 вер. 2026 р. · метрики 2.10.0