Todas las etiquetas
Etiqueta del catálogo

#inference-server

Todos los repositorios del registro público que llevan esta etiqueta, procedente de sus topics de GitHub o de las palabras clave que publican sus registros de paquetes. La salud se mide con la misma metodología versionada que el resto del registro.

5 registros
Con la etiqueta «inference-server»Ordenado por índice de salud
PyPI · crates.io
98Excepcionalíndice de salud
basetenlabs/truss
The simplest way to serve AI/ML models in production
Python · Rust★ 1195↓ 966.4K/mes27 ago 2026
MIT27 ago 2026 · métricas 2.10.0
PyPI
94Excepcionalíndice de salud
vllm-project/speculators
A unified library for building, evaluating, and storing speculative decoding algorithms for LLM inference in vLLM
Python★ 865↓ 5844/mes8 oct 2026
Apache-2.08 oct 2026 · métricas 2.10.0
PyPI · npm
92Excelenteíndice de salud
roboflow/inference
Turn any computer or edge device into a command center for your computer vision projects.
Python★ 24385 sept 2026
Licencia propia5 sept 2026 · métricas 2.10.0
PyPI
91Excelenteíndice de salud
waybarrios/vllm-mlx
High-performance OpenAI and Anthropic compatible LLM inference server for Apple Silicon. Native MLX, continuous batching, multimodal models, MCP tool calling, and Claude Code support.
Python★ 1626↓ 5191/mes20 oct 2026
Apache-2.020 oct 2026 · métricas 2.10.0
PyPI
86Excelenteíndice de salud
jundot/omlx
LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar
Python★ 21.8K16 sept 2026
Apache-2.016 sept 2026 · métricas 2.10.0