Alle Tags
Katalog-Tag

#tokenizer

Alle Repositories im öffentlichen Register, die dieses Tag tragen — aus ihren GitHub-Topics oder den von ihren Paket-Registries veröffentlichten Schlagwörtern. Die Gesundheit wird nach derselben versionierten Methodik gemessen wie im übrigen Register.

27 Einträge
Getaggt als „tokenizer“Geordnet nach Gesundheitsindex
crates.io
80GutGesundheitsindex
huggingface/tokenizers
💥 Fast State-of-the-Art Tokenizers optimized for Research and Production
Rust · Python★ 10.9K↓ 2.9M/Monat16. Juli 2026
Apache-2.016. Juli 2026 · Metriken 1.13.0
npm
74GutGesundheitsindex
csstools/postcss-plugins
PostCSS Tools and Plugins
CSS · JavaScript · TypeScript★ 1.051↓ 906M/Monat22. Juli 2026
MIT-022. Juli 2026 · Metriken 1.13.0
crates.io · npm · Packagist +2
72GutGesundheitsindex
lindera/lindera
A multilingual morphological analysis library.
Rust★ 644↓ 481.1K/Monat18. Juli 2026
MIT18. Juli 2026 · Metriken 1.13.0
Packagist
61MittelGesundheitsindex
loupe-php/matcher
A library to highlight and crop terms and context within strings such as search results
PHP★ 10↓ 20.6K/Monat17. Juli 2026
MIT17. Juli 2026 · Metriken 1.13.0
Go
58MittelGesundheitsindex
ron2111/omnitoken
Pure-Go LLM tokenizer and tiktoken-compatible token counter for OpenAI BPE, WordPiece, SentencePiece, Gemini, Llama, Mistral, and Hugging Face adapters.
Go★ 615. Juli 2026
MIT15. Juli 2026 · Metriken 1.13.0
Go
57MittelGesundheitsindex
bzick/tokenizer
Tokenizer (lexer) for golang
Go★ 14115. Juli 2026
MIT15. Juli 2026 · Metriken 1.13.0
npm
57MittelGesundheitsindex
csstree/csstree
A tool set for CSS including fast detailed parser, walker, generator and lexer based on W3C specs and browser implementations
JavaScript★ 2.111↓ 399M/Monat22. Juli 2026
MIT22. Juli 2026 · Metriken 1.13.0
crates.io
56MittelGesundheitsindex
sile/erl_tokenize
An Erlang source code tokenizer written in Rust.
Rust★ 12↓ 2.179/Monat22. Juli 2026
Apache-2.022. Juli 2026 · Metriken 1.13.0
npm
56MittelGesundheitsindex
webpro-nl/unbash
Fast 0-deps bash parser written in TypeScript
Shell · TypeScript★ 34↓ 29.9M/Monat17. Juli 2026
ISC17. Juli 2026 · Metriken 1.13.0
PyPI
55MittelGesundheitsindex
bitextor/bitextor
Bitextor generates translation memories from multilingual websites
Python · Shell★ 29921. Juli 2026
GPL-3.021. Juli 2026 · Metriken 1.13.0
Go · npm
55MittelGesundheitsindex
lancekrogers/tcount
Local-first LLM token counter: exact OpenAI BPE, Claude/Gemini estimates, context-window usage. Zero network. CLI + Go library.
Go★ 2↓ 19/Monat13. Juli 2026
MIT13. Juli 2026 · Metriken 1.13.0
—
55MittelGesundheitsindex
umutozel/Jokenizer.Net
:hash: C# Expression parser and evaluator, inspired from jokenizer project.
C#★ 1117. Juli 2026
MIT17. Juli 2026 · Metriken 1.13.0
Go
54MittelGesundheitsindex
chadsr/ollamatokenizer
Ollama's internal tokenization as API endpoints.
Go★ 1↓ 0/Monat14. Juli 2026
MIT14. Juli 2026 · Metriken 1.13.0
Go · npm
54MittelGesundheitsindex
lancekrogers/go-token-counter
Local-first LLM token counter: exact OpenAI BPE, Claude/Gemini estimates, context-window usage. Zero network. CLI + Go library.
Go★ 218. Juli 2026
MIT18. Juli 2026 · Metriken 1.13.0
Packagist
54MittelGesundheitsindex
spiral/tokenizer
[READ ONLY] Locate available classes by parent, interface or trait. Subtree split of the Spiral Tokenizer component (see spiral/framework)
PHP★ 18↓ 425.3K/Monat13. Juli 2026
MIT13. Juli 2026 · Metriken 1.13.0
PyPI
53MittelGesundheitsindex
tusharsadhwani/pytokens
A fast, spec compliant Python 3.14+ tokenizer that runs on older Pythons.
Python★ 417. Juli 2026
MIT17. Juli 2026 · Metriken 1.13.0
npm
52MittelGesundheitsindex
lydell/js-tokens
Tiny JavaScript tokenizer.
JavaScript · CoffeeScript★ 55622. Juli 2026
MIT22. Juli 2026 · Metriken 1.13.0
PyPI
50MittelGesundheitsindex
hplt-project/sacremoses
Python port of Moses tokenizer, truecaser and normalizer
Python★ 497↓ 2.4M/Monat21. Juli 2026
MIT21. Juli 2026 · Metriken 1.13.0
PyPI · crates.io
50MittelGesundheitsindex
marcelroed/gigatoken
Language model tokenization at GB/s
Rust · Python★ 115↓ 2.741/Monat22. Juli 2026
MIT22. Juli 2026 · Metriken 1.13.0
PyPI
48GefährdetGesundheitsindex
OpenVoiceOS/quebra_frases
chunks strings into byte sized pieces
Python★ 121. Juli 2026
Apache-2.021. Juli 2026 · Metriken 1.13.0
npm
47GefährdetGesundheitsindex
borewit/tokenizer-inflate
A package designed for handling and extracting data from ZIP files efficiently using a tokenizer-based approach. The library provides a customizable way to parse ZIP archives and extract compressed data while minimizing memory usage.
TypeScript★ 0↓ 83.2M/Monat15. Juli 2026
MIT15. Juli 2026 · Metriken 1.13.0
PyPI
46GefährdetGesundheitsindex
polm/fugashi
A Cython MeCab wrapper for fast, pythonic Japanese tokenization and morphological analysis.
C++ · Cython · Python★ 53321. Juli 2026
MIT21. Juli 2026 · Metriken 1.13.0
Packagist
44GefährdetGesundheitsindex
mck89/peast
JavaScript parser written in PHP that generates AST from your code according to ECMAScript specification
PHP★ 192↓ 1.4M/Monat21. Juli 2026
BSD-3-Clause21. Juli 2026 · Metriken 1.13.0
—
30GefährdetGesundheitsindex
JuliaLang/Tokenize.jl
Tokenization for Julia source code
Julia★ 10422. Juli 2026
Eigene Lizenz22. Juli 2026 · Metriken 1.13.0
Packagist
28KritischGesundheitsindex
theseer/tokenizer
A small library for converting tokenized PHP source code into XML (and potentially other formats)
PHP★ 5.199↓ 14.3M/Monat20. Juli 2026
Eigene Lizenz20. Juli 2026 · Metriken 1.13.0
npm
16KritischGesundheitsindex
plurnk/plurnk-providers
Framework + contract for @plurnk/plurnk-providers-* sibling packages (LLM transports + tokenizer + cost accounting).
TypeScript · JavaScript★ 0↓ 9.778/Monat15. Juli 2026
MIT15. Juli 2026 · Metriken 1.13.0
npm
13KritischGesundheitsindex
plurnk/plurnk-mimetypes-tokenizers
Bundled LLM tokenizer vocabularies for @plurnk/plurnk-mimetypes' tokenizer seam — exact token counting for window math
JavaScript★ 0↓ 2.529/Monat15. Juli 2026
MIT15. Juli 2026 · Metriken 1.13.0