PyPI
google/jetstream
JetStream is a throughput and memory optimized engine for LLM inference on XLA devices, starting with TPUs (and GPUs in future -- PRs welcome).
Apache-2.018. Juli 2026 · Metriken 2.10.0
Alle Tags
Katalog-Tag
#llm-inference
Alle Repositories im öffentlichen Register, die dieses Tag tragen — aus ihren GitHub-Topics oder den von ihren Paket-Registries veröffentlichten Schlagwörtern. Die Gesundheit wird nach derselben versionierten Methodik gemessen wie im übrigen Register.
35 Einträge
PyPI
ARahim3/mlx-dspark
Up to 4× faster LLM decoding on Apple Silicon, lossless. Native MLX port of DeepSeek's DSpark & z-lab's DFlash speculative decoding — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, Ornith-1.0, ternary Bonsai-27B.
MIT19. Aug. 2026 · Metriken 2.10.0
npm
empirical-run/empirical
Test and evaluate LLMs and model configurations, across all the scenarios that matter for your application
MIT15. Juli 2026 · Metriken 2.10.0
—
MekayelAnik/vllm-cpu
Wheels & Docker images for running vLLM on CPU-only systems, optimized for different CPU instruction sets
GPL-3.010. Aug. 2026 · Metriken 2.10.0
PyPI
openvinotoolkit/openvino
OpenVINO™ is an open source toolkit for optimizing and deploying AI inference
Apache-2.012. Aug. 2026 · Metriken 2.10.0