Усі теги
Тег каталогу

#tokenizer

Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.

27 записів
З тегом «tokenizer»Упорядковано за індексом здоров'я
crates.io
80Добрийіндекс здоров'я
huggingface/tokenizers
💥 Fast State-of-the-Art Tokenizers optimized for Research and Production
Rust · Python★ 10.9K↓ 2.9M/міс16 лип. 2026 р.
Apache-2.016 лип. 2026 р. · метрики 1.13.0
npm
74Добрийіндекс здоров'я
csstools/postcss-plugins
PostCSS Tools and Plugins
CSS · JavaScript · TypeScript★ 1 051↓ 906M/міс22 лип. 2026 р.
MIT-022 лип. 2026 р. · метрики 1.13.0
crates.io · npm · Packagist +2
72Добрийіндекс здоров'я
lindera/lindera
A multilingual morphological analysis library.
Rust★ 644↓ 481.1K/міс18 лип. 2026 р.
MIT18 лип. 2026 р. · метрики 1.13.0
Packagist
61Помірнийіндекс здоров'я
loupe-php/matcher
A library to highlight and crop terms and context within strings such as search results
PHP★ 10↓ 20.6K/міс17 лип. 2026 р.
MIT17 лип. 2026 р. · метрики 1.13.0
Go
58Помірнийіндекс здоров'я
ron2111/omnitoken
Pure-Go LLM tokenizer and tiktoken-compatible token counter for OpenAI BPE, WordPiece, SentencePiece, Gemini, Llama, Mistral, and Hugging Face adapters.
Go★ 615 лип. 2026 р.
MIT15 лип. 2026 р. · метрики 1.13.0
Go
57Помірнийіндекс здоров'я
bzick/tokenizer
Tokenizer (lexer) for golang
Go★ 14115 лип. 2026 р.
MIT15 лип. 2026 р. · метрики 1.13.0
npm
57Помірнийіндекс здоров'я
csstree/csstree
A tool set for CSS including fast detailed parser, walker, generator and lexer based on W3C specs and browser implementations
JavaScript★ 2 111↓ 399M/міс22 лип. 2026 р.
MIT22 лип. 2026 р. · метрики 1.13.0
crates.io
56Помірнийіндекс здоров'я
sile/erl_tokenize
An Erlang source code tokenizer written in Rust.
Rust★ 12↓ 2 179/міс22 лип. 2026 р.
Apache-2.022 лип. 2026 р. · метрики 1.13.0
npm
56Помірнийіндекс здоров'я
webpro-nl/unbash
Fast 0-deps bash parser written in TypeScript
Shell · TypeScript★ 34↓ 29.9M/міс17 лип. 2026 р.
ISC17 лип. 2026 р. · метрики 1.13.0
PyPI
55Помірнийіндекс здоров'я
bitextor/bitextor
Bitextor generates translation memories from multilingual websites
Python · Shell★ 29921 лип. 2026 р.
GPL-3.021 лип. 2026 р. · метрики 1.13.0
Go · npm
55Помірнийіндекс здоров'я
lancekrogers/tcount
Local-first LLM token counter: exact OpenAI BPE, Claude/Gemini estimates, context-window usage. Zero network. CLI + Go library.
Go★ 2↓ 19/міс13 лип. 2026 р.
MIT13 лип. 2026 р. · метрики 1.13.0
—
55Помірнийіндекс здоров'я
umutozel/Jokenizer.Net
:hash: C# Expression parser and evaluator, inspired from jokenizer project.
C#★ 1117 лип. 2026 р.
MIT17 лип. 2026 р. · метрики 1.13.0
Go
54Помірнийіндекс здоров'я
chadsr/ollamatokenizer
Ollama's internal tokenization as API endpoints.
Go★ 1↓ 0/міс14 лип. 2026 р.
MIT14 лип. 2026 р. · метрики 1.13.0
Go · npm
54Помірнийіндекс здоров'я
lancekrogers/go-token-counter
Local-first LLM token counter: exact OpenAI BPE, Claude/Gemini estimates, context-window usage. Zero network. CLI + Go library.
Go★ 218 лип. 2026 р.
MIT18 лип. 2026 р. · метрики 1.13.0
Packagist
54Помірнийіндекс здоров'я
spiral/tokenizer
[READ ONLY] Locate available classes by parent, interface or trait. Subtree split of the Spiral Tokenizer component (see spiral/framework)
PHP★ 18↓ 425.3K/міс13 лип. 2026 р.
MIT13 лип. 2026 р. · метрики 1.13.0
PyPI
53Помірнийіндекс здоров'я
tusharsadhwani/pytokens
A fast, spec compliant Python 3.14+ tokenizer that runs on older Pythons.
Python★ 417 лип. 2026 р.
MIT17 лип. 2026 р. · метрики 1.13.0
npm
52Помірнийіндекс здоров'я
lydell/js-tokens
Tiny JavaScript tokenizer.
JavaScript · CoffeeScript★ 55622 лип. 2026 р.
MIT22 лип. 2026 р. · метрики 1.13.0
PyPI
50Помірнийіндекс здоров'я
hplt-project/sacremoses
Python port of Moses tokenizer, truecaser and normalizer
Python★ 497↓ 2.4M/міс21 лип. 2026 р.
MIT21 лип. 2026 р. · метрики 1.13.0
PyPI · crates.io
50Помірнийіндекс здоров'я
marcelroed/gigatoken
Language model tokenization at GB/s
Rust · Python★ 115↓ 2 741/міс22 лип. 2026 р.
MIT22 лип. 2026 р. · метрики 1.13.0
PyPI
48У зоні ризикуіндекс здоров'я
OpenVoiceOS/quebra_frases
chunks strings into byte sized pieces
Python★ 121 лип. 2026 р.
Apache-2.021 лип. 2026 р. · метрики 1.13.0
npm
47У зоні ризикуіндекс здоров'я
borewit/tokenizer-inflate
A package designed for handling and extracting data from ZIP files efficiently using a tokenizer-based approach. The library provides a customizable way to parse ZIP archives and extract compressed data while minimizing memory usage.
TypeScript★ 0↓ 83.2M/міс15 лип. 2026 р.
MIT15 лип. 2026 р. · метрики 1.13.0
PyPI
46У зоні ризикуіндекс здоров'я
polm/fugashi
A Cython MeCab wrapper for fast, pythonic Japanese tokenization and morphological analysis.
C++ · Cython · Python★ 53321 лип. 2026 р.
MIT21 лип. 2026 р. · метрики 1.13.0
Packagist
44У зоні ризикуіндекс здоров'я
mck89/peast
JavaScript parser written in PHP that generates AST from your code according to ECMAScript specification
PHP★ 192↓ 1.4M/міс21 лип. 2026 р.
BSD-3-Clause21 лип. 2026 р. · метрики 1.13.0
—
30У зоні ризикуіндекс здоров'я
JuliaLang/Tokenize.jl
Tokenization for Julia source code
Julia★ 10422 лип. 2026 р.
Власна ліцензія22 лип. 2026 р. · метрики 1.13.0
Packagist
28Критичнийіндекс здоров'я
theseer/tokenizer
A small library for converting tokenized PHP source code into XML (and potentially other formats)
PHP★ 5 199↓ 14.3M/міс20 лип. 2026 р.
Власна ліцензія20 лип. 2026 р. · метрики 1.13.0
npm
16Критичнийіндекс здоров'я
plurnk/plurnk-providers
Framework + contract for @plurnk/plurnk-providers-* sibling packages (LLM transports + tokenizer + cost accounting).
TypeScript · JavaScript★ 0↓ 9 778/міс15 лип. 2026 р.
MIT15 лип. 2026 р. · метрики 1.13.0
npm
13Критичнийіндекс здоров'я
plurnk/plurnk-mimetypes-tokenizers
Bundled LLM tokenizer vocabularies for @plurnk/plurnk-mimetypes' tokenizer seam — exact token counting for window math
JavaScript★ 0↓ 2 529/міс15 лип. 2026 р.
MIT15 лип. 2026 р. · метрики 1.13.0