Todas las etiquetas
Etiqueta del catálogo

#bpe

Todos los repositorios del registro público que llevan esta etiqueta, procedente de sus topics de GitHub o de las palabras clave que publican sus registros de paquetes. La salud se mide con la misma metodología versionada que el resto del registro.

6 registros
Con la etiqueta «bpe»Ordenado por índice de salud
crates.io
80Buenoíndice de salud
huggingface/tokenizers
💥 Fast State-of-the-Art Tokenizers optimized for Research and Production
Rust · Python★ 10.9K↓ 2.9M/mes16 jul 2026
Apache-2.016 jul 2026 · métricas 1.13.0
Go
58Moderadoíndice de salud
ron2111/omnitoken
Pure-Go LLM tokenizer and tiktoken-compatible token counter for OpenAI BPE, WordPiece, SentencePiece, Gemini, Llama, Mistral, and Hugging Face adapters.
Go★ 615 jul 2026
MIT15 jul 2026 · métricas 1.13.0
Go · npm
55Moderadoíndice de salud
lancekrogers/tcount
Local-first LLM token counter: exact OpenAI BPE, Claude/Gemini estimates, context-window usage. Zero network. CLI + Go library.
Go★ 2↓ 19/mes13 jul 2026
MIT13 jul 2026 · métricas 1.13.0
Go · npm
54Moderadoíndice de salud
lancekrogers/go-token-counter
Local-first LLM token counter: exact OpenAI BPE, Claude/Gemini estimates, context-window usage. Zero network. CLI + Go library.
Go★ 218 jul 2026
MIT18 jul 2026 · métricas 1.13.0
PyPI · crates.io
50Moderadoíndice de salud
marcelroed/gigatoken
Language model tokenization at GB/s
Rust · Python★ 115↓ 2741/mes22 jul 2026
MIT22 jul 2026 · métricas 1.13.0
npm
13Críticoíndice de salud
plurnk/plurnk-mimetypes-tokenizers
Bundled LLM tokenizer vocabularies for @plurnk/plurnk-mimetypes' tokenizer seam — exact token counting for window math
JavaScript★ 0↓ 2529/mes15 jul 2026
MIT15 jul 2026 · métricas 1.13.0