Katalog-Tag

#inference-server

Alle Repositories im öffentlichen Register, die dieses Tag tragen — aus ihren GitHub-Topics oder den von ihren Paket-Registries veröffentlichten Schlagwörtern. Die Gesundheit wird nach derselben versionierten Methodik gemessen wie im übrigen Register.

5 Einträge

Getaggt als „inference-server“Geordnet nach Gesundheitsindex

PyPI · crates.io

98AußergewöhnlichGesundheitsindex

basetenlabs/truss

The simplest way to serve AI/ML models in production

Python · Rust★ 1.195↓ 966.4K/Monat27. Aug. 2026

MIT27. Aug. 2026 · Metriken 2.10.0

PyPI

94AußergewöhnlichGesundheitsindex

vllm-project/speculators

A unified library for building, evaluating, and storing speculative decoding algorithms for LLM inference in vLLM

Python★ 865↓ 5.844/Monat8. Okt. 2026

Apache-2.08. Okt. 2026 · Metriken 2.10.0

PyPI

91ExzellentGesundheitsindex

waybarrios/vllm-mlx

High-performance OpenAI and Anthropic compatible LLM inference server for Apple Silicon. Native MLX, continuous batching, multimodal models, MCP tool calling, and Claude Code support.

Python★ 1.626↓ 5.191/Monat20. Okt. 2026

Apache-2.020. Okt. 2026 · Metriken 2.10.0

PyPI · npm

88ExzellentGesundheitsindex

roboflow/inference

Turn any computer or edge device into a command center for your computer vision projects.

Python★ 2.48021. Okt. 2026

Eigene Lizenz21. Okt. 2026 · Metriken 2.10.0

PyPI

86ExzellentGesundheitsindex

jundot/omlx

LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar

Python★ 21.8K16. Sept. 2026

Apache-2.016. Sept. 2026 · Metriken 2.10.0