Усі теги
Тег каталогу

#tokenization

Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.

7 записів
З тегом «tokenization»Упорядковано за індексом здоров'я
npm
71Добрийіндекс здоров'я
toon-format/toon
🎒 Token-Oriented Object Notation (TOON) – Compact, human-readable, schema-aware JSON for LLM prompts. Spec, benchmarks, TypeScript SDK.
TypeScript★ 24.9K19 лип. 2026 р.
MIT19 лип. 2026 р. · метрики 1.13.0
PyPI · npm
69Помірнийіндекс здоров'я
explosion/spaCy
💫 Industrial-strength Natural Language Processing (NLP) in Python
Python · MDX · Cython★ 33.7K↓ 22M/міс17 лип. 2026 р.
MIT17 лип. 2026 р. · метрики 1.13.0
Go
58Помірнийіндекс здоров'я
ron2111/omnitoken
Pure-Go LLM tokenizer and tiktoken-compatible token counter for OpenAI BPE, WordPiece, SentencePiece, Gemini, Llama, Mistral, and Hugging Face adapters.
Go★ 615 лип. 2026 р.
MIT15 лип. 2026 р. · метрики 1.13.0
Go
54Помірнийіндекс здоров'я
chadsr/ollamatokenizer
Ollama's internal tokenization as API endpoints.
Go★ 1↓ 0/міс14 лип. 2026 р.
MIT14 лип. 2026 р. · метрики 1.13.0
crates.io
53Помірнийіндекс здоров'я
bio-rs/bio-rs
AI-ready biological data I/O, validation, and tokenization engine
Rust · Python★ 315 лип. 2026 р.
Власна ліцензія15 лип. 2026 р. · метрики 1.13.0
PyPI · crates.io
50Помірнийіндекс здоров'я
marcelroed/gigatoken
Language model tokenization at GB/s
Rust · Python★ 115↓ 2 741/міс22 лип. 2026 р.
MIT22 лип. 2026 р. · метрики 1.13.0
PyPI
48У зоні ризикуіндекс здоров'я
OpenVoiceOS/quebra_frases
chunks strings into byte sized pieces
Python★ 121 лип. 2026 р.
Apache-2.021 лип. 2026 р. · метрики 1.13.0