Alle Tags
Katalog-Tag

#tiktoken

Alle Repositories im öffentlichen Register, die dieses Tag tragen — aus ihren GitHub-Topics oder den von ihren Paket-Registries veröffentlichten Schlagwörtern. Die Gesundheit wird nach derselben versionierten Methodik gemessen wie im übrigen Register.

12 Einträge
Getaggt als „tiktoken“Geordnet nach Gesundheitsindex
crates.io
78GutGesundheitsindex
ai-dynamo/frontend-crates
Keine Repository-Beschreibung veröffentlicht.
Rust · Python★ 24↓ 812.4K/Monat20. Okt. 2026
Apache-2.020. Okt. 2026 · Metriken 2.10.0
crates.io · PyPI
78GutGesundheitsindex
ml-rust/splintr
A high-performance tokenizer (BPE, WordPiece, SentencePiece) built with Rust with Python bindings, focused on speed, safety, and resource optimization.
Rust · Python★ 60↓ 5.850/Monat16. Sept. 2026
MIT16. Sept. 2026 · Metriken 2.10.0
—
78GutGesundheitsindex
tryAGI/Tiktoken
High-performance .NET BPE tokenizer — up to 618 MiB/s, competitive with Rust. Zero-allocation counting, multilingual cache, o200k/cl100k/r50k/p50k encodings + HuggingFace tokenizer.json support.
C#★ 9221. Okt. 2026
MIT21. Okt. 2026 · Metriken 2.10.0
npm
77GutGesundheitsindex
niieani/gpt-tokenizer
The fastest JavaScript BPE Tokenizer Encoder Decoder for OpenAI's GPT models (gpt-5, gpt-o*, gpt-4o, etc.). Port of OpenAI's tiktoken with additional features.
TypeScript★ 845↓ 6.1M/Monat18. Sept. 2026
MIT18. Sept. 2026 · Metriken 2.10.0
npm
73GutGesundheitsindex
johannschopplich/tokenx
📐 Fast token estimation with 95%+ average accuracy in a 2kB bundle
TypeScript★ 177↓ 6.2M/Monat15. Sept. 2026
MIT15. Sept. 2026 · Metriken 2.10.0
crates.io · npm
67GutGesundheitsindex
goliajp/rust-tiktoken
High-performance Rust tiktoken BPE tokenizer + WASM bindings (@goliapkg/tiktoken-wasm)
Rust · TypeScript★ 7↓ 11.6K/Monat17. Sept. 2026
Apache-2.017. Sept. 2026 · Metriken 2.10.0
PyPI · crates.io
63MittelGesundheitsindex
marcelroed/gigatoken
Language model tokenization at GB/s
Rust · Python★ 4.093↓ 261.6K/Monat12. Sept. 2026
MIT12. Sept. 2026 · Metriken 2.10.0
npm · Go
62MittelGesundheitsindex
lancekrogers/tcount
Local Tokenizer/Counter
Go★ 6↓ 74/Monat11. Sept. 2026
MIT11. Sept. 2026 · Metriken 2.10.0
Go
57MittelGesundheitsindex
ron2111/omnitoken
Pure-Go LLM tokenizer and tiktoken-compatible token counter for OpenAI BPE, WordPiece, SentencePiece, Gemini, Llama, Mistral, and Hugging Face adapters.
Go★ 65. Sept. 2026
MIT5. Sept. 2026 · Metriken 2.10.0
Packagist
51MittelGesundheitsindex
mis3085/tiktoken-for-laravel
A tiktoken-php wrapper for Laravel
PHP★ 27↓ 7.296/Monat12. Sept. 2026
MIT12. Sept. 2026 · Metriken 2.10.0
npm
50MittelGesundheitsindex
siliconvalleyglobal/TokenSaveOS
Keine Repository-Beschreibung veröffentlicht.
TypeScript · JavaScript★ 2↓ 2.563/Monat18. Sept. 2026
Eigene Lizenz18. Sept. 2026 · Metriken 2.10.0
Go
48SchwachGesundheitsindex
pkoukk/tiktoken-go
go version of tiktoken
Go · Python★ 95723. Sept. 2026
MIT23. Sept. 2026 · Metriken 2.10.0