Katalog-Tag

#bpe

Alle Repositories im öffentlichen Register, die dieses Tag tragen — aus ihren GitHub-Topics oder den von ihren Paket-Registries veröffentlichten Schlagwörtern. Die Gesundheit wird nach derselben versionierten Methodik gemessen wie im übrigen Register.

6 Einträge

Getaggt als „bpe“Geordnet nach Gesundheitsindex

crates.io

80GutGesundheitsindex

huggingface/tokenizers

💥 Fast State-of-the-Art Tokenizers optimized for Research and Production

Rust · Python★ 10.9K↓ 2.9M/Monat16. Juli 2026

Apache-2.016. Juli 2026 · Metriken 1.13.0

58MittelGesundheitsindex

ron2111/omnitoken

Pure-Go LLM tokenizer and tiktoken-compatible token counter for OpenAI BPE, WordPiece, SentencePiece, Gemini, Llama, Mistral, and Hugging Face adapters.

Go★ 615. Juli 2026

MIT15. Juli 2026 · Metriken 1.13.0

Go · npm

55MittelGesundheitsindex

lancekrogers/tcount

Local-first LLM token counter: exact OpenAI BPE, Claude/Gemini estimates, context-window usage. Zero network. CLI + Go library.

Go★ 2↓ 19/Monat13. Juli 2026

MIT13. Juli 2026 · Metriken 1.13.0

Go · npm

54MittelGesundheitsindex

lancekrogers/go-token-counter

Local-first LLM token counter: exact OpenAI BPE, Claude/Gemini estimates, context-window usage. Zero network. CLI + Go library.

Go★ 218. Juli 2026

MIT18. Juli 2026 · Metriken 1.13.0

PyPI · crates.io

50MittelGesundheitsindex

marcelroed/gigatoken

Language model tokenization at GB/s

Rust · Python★ 115↓ 2.741/Monat22. Juli 2026

MIT22. Juli 2026 · Metriken 1.13.0

npm

13KritischGesundheitsindex

plurnk/plurnk-mimetypes-tokenizers

Bundled LLM tokenizer vocabularies for @plurnk/plurnk-mimetypes' tokenizer seam — exact token counting for window math

JavaScript★ 0↓ 2.529/Monat15. Juli 2026

MIT15. Juli 2026 · Metriken 1.13.0