目录标签

#wordpiece

公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。

3 条记录

标签为“wordpiece”按健康指数排序

crates.io

95卓越健康指数

huggingface/tokenizers

💥 Fast State-of-the-Art Tokenizers optimized for Research and Production

Rust · Python★ 11K↓ 3.8M/月2026年8月27日

Apache-2.02026年8月27日 · 指标 2.10.0

crates.io · PyPI

77良好健康指数

ml-rust/splintr

A high-performance tokenizer (BPE + SentencePiece) built with Rust with Python bindings, focused on speed, safety, and resource optimization.

Rust · Python★ 60↓ 5,657/月2026年8月5日

MIT2026年8月5日 · 指标 2.10.0

57中等健康指数

ron2111/omnitoken

Pure-Go LLM tokenizer and tiktoken-compatible token counter for OpenAI BPE, WordPiece, SentencePiece, Gemini, Llama, Mistral, and Hugging Face adapters.

Go★ 62026年9月5日

MIT2026年9月5日 · 指标 2.10.0