crates.io80良好健康指数huggingface/tokenizers💥 Fast State-of-the-Art Tokenizers optimized for Research and ProductionRust · Python★ 10.9K↓ 2.9M/月2026年7月16日Apache-2.02026年7月16日 · 指标 1.13.0
Go58中等健康指数ron2111/omnitokenPure-Go LLM tokenizer and tiktoken-compatible token counter for OpenAI BPE, WordPiece, SentencePiece, Gemini, Llama, Mistral, and Hugging Face adapters.Go★ 62026年7月15日MIT2026年7月15日 · 指标 1.13.0