全部标签
目录标签

#tokenization

公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。

7 条记录
标签为“tokenization”按健康指数排序
npm
71良好健康指数
toon-format/toon
🎒 Token-Oriented Object Notation (TOON) – Compact, human-readable, schema-aware JSON for LLM prompts. Spec, benchmarks, TypeScript SDK.
TypeScript★ 24.9K2026年7月19日
MIT2026年7月19日 · 指标 1.13.0
PyPI · npm
69中等健康指数
explosion/spaCy
💫 Industrial-strength Natural Language Processing (NLP) in Python
Python · MDX · Cython★ 33.7K↓ 22M/月2026年7月17日
MIT2026年7月17日 · 指标 1.13.0
Go
58中等健康指数
ron2111/omnitoken
Pure-Go LLM tokenizer and tiktoken-compatible token counter for OpenAI BPE, WordPiece, SentencePiece, Gemini, Llama, Mistral, and Hugging Face adapters.
Go★ 62026年7月15日
MIT2026年7月15日 · 指标 1.13.0
Go
54中等健康指数
chadsr/ollamatokenizer
Ollama's internal tokenization as API endpoints.
Go★ 1↓ 0/月2026年7月14日
MIT2026年7月14日 · 指标 1.13.0
crates.io
53中等健康指数
bio-rs/bio-rs
AI-ready biological data I/O, validation, and tokenization engine
Rust · Python★ 32026年7月15日
自定义许可证2026年7月15日 · 指标 1.13.0
PyPI · crates.io
50中等健康指数
marcelroed/gigatoken
Language model tokenization at GB/s
Rust · Python★ 115↓ 2,741/月2026年7月22日
MIT2026年7月22日 · 指标 1.13.0
PyPI
48存在风险健康指数
OpenVoiceOS/quebra_frases
chunks strings into byte sized pieces
Python★ 12026年7月21日
Apache-2.02026年7月21日 · 指标 1.13.0