PyPI
AI-Hypercomputer/JetStream
JetStream is a throughput and memory optimized engine for LLM inference on XLA devices, starting with TPUs (and GPUs in future -- PRs welcome).
Apache-2.010 вер. 2026 р. · метрики 2.10.0
Усі теги
Тег каталогу
#inference
Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.
136 записів
Go
thalesfsp/inference
Provides building blocks to integrate with AI / LLM providers and built-in, common, providers.
MIT9 вер. 2026 р. · метрики 2.10.0
NuGet
mdesalvo/OWLSharp
Lightweight and friendly .NET library for realizing modern Semantic Web applications (OWL2, SWRL, SKOS)
Apache-2.012 вер. 2026 р. · метрики 2.10.0
npm
stfurkan/bitgpu
Fast WebGPU runtime for 1-bit (binary-weight) LLMs in the browser. Bit-exact, zero runtime dependencies.
MIT14 вер. 2026 р. · метрики 2.10.0
PyPI
llaa33219/outo-llms
Deploy local LLMs behind your own managed API server - vLLM or llama.cpp in isolated environments, API keys, workspaces, usage tracking
Apache-2.013 вер. 2026 р. · метрики 2.10.0
npm
OjasKord/local-model-suitability-mcp
Опис репозиторію не опубліковано.
MIT13 вер. 2026 р. · метрики 2.10.0
Packagist
JetBrains/phpstorm-stubs
PHP runtime & extensions header files for PhpStorm
Apache-2.027 серп. 2026 р. · метрики 2.10.0
npm · crates.io
compose-market/sdk
Опис репозиторію не опубліковано.
MIT5 вер. 2026 р. · метрики 2.10.0
PyPI · Go · npm
dstackai/dstack
A unified orchestration layer for heterogeneous AI compute. It standardizes how to manage compute and run training and inference on GPU clouds, Kubernetes, VMs, or bare-metal clusters.
MPL-2.08 жовт. 2026 р. · метрики 2.10.0
PyPI
openvinotoolkit/openvino
OpenVINO™ is an open source toolkit for optimizing and deploying AI inference
Apache-2.017 вер. 2026 р. · метрики 2.10.0
PyPI
h2non/filetype.py
Small, dependency-free, fast Python package to infer binary file types checking the magic numbers signature
MIT9 вер. 2026 р. · метрики 2.10.0
Go
iguanesolutions/qwen35-rp
Qwen 3.5 Reverse Proxy for handling instant / thinking modes and their variants automatically
MIT19 вер. 2026 р. · метрики 2.10.0
PyPI
Saganaki22/MisoTTS-ComfyUI
Miso TTS 8B nodes for ComfyUI - Sesame-style CSM text-to-speech with Mimi audio tokens, optional reference-audio continuation, Whisper transcription, and Aimdo/VRAM-management integration.
MIT16 вер. 2026 р. · метрики 2.10.0
PyPI
nactttch/g2n
A torch.compile backend that pays attention: custom FX fusion passes, a Triton LayerNorm kernel, and a persistent compile cache. Apache-2.0 free core of the g2n platform.
Apache-2.015 вер. 2026 р. · метрики 2.10.0
PyPI
declare-lab/RECCON
This repository contains the dataset and the PyTorch implementations of the models from the paper Recognizing Emotion Cause in Conversations.
Без ліцензії8 вер. 2026 р. · метрики 2.10.0
PyPI · Maven
awslabs/multi-model-server
Multi Model Server is a tool for serving neural net models for inference
Apache-2.017 вер. 2026 р. · метрики 2.10.0