crates.io80良好健康指数huggingface/tokenizers💥 Fast State-of-the-Art Tokenizers optimized for Research and ProductionRust · Python★ 10.9K↓ 2.9M/月2026年7月16日Apache-2.02026年7月16日 · 指标 1.13.0
Go58中等健康指数ron2111/omnitokenPure-Go LLM tokenizer and tiktoken-compatible token counter for OpenAI BPE, WordPiece, SentencePiece, Gemini, Llama, Mistral, and Hugging Face adapters.Go★ 62026年7月15日MIT2026年7月15日 · 指标 1.13.0
Go · npm55中等健康指数lancekrogers/tcountLocal-first LLM token counter: exact OpenAI BPE, Claude/Gemini estimates, context-window usage. Zero network. CLI + Go library.Go★ 2↓ 19/月2026年7月13日MIT2026年7月13日 · 指标 1.13.0
Go · npm54中等健康指数lancekrogers/go-token-counterLocal-first LLM token counter: exact OpenAI BPE, Claude/Gemini estimates, context-window usage. Zero network. CLI + Go library.Go★ 22026年7月18日MIT2026年7月18日 · 指标 1.13.0
PyPI · crates.io50中等健康指数marcelroed/gigatokenLanguage model tokenization at GB/sRust · Python★ 115↓ 2,741/月2026年7月22日MIT2026年7月22日 · 指标 1.13.0
npm13危急健康指数plurnk/plurnk-mimetypes-tokenizersBundled LLM tokenizer vocabularies for @plurnk/plurnk-mimetypes' tokenizer seam — exact token counting for window mathJavaScript★ 0↓ 2,529/月2026年7月15日MIT2026年7月15日 · 指标 1.13.0