Усі теги
Тег каталогу

#tokenizer

Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.

76 записів
З тегом «tokenizer»Упорядковано за індексом здоров'я
crates.io
44Слабкийіндекс здоров'я
RazrFalcon/xmlparser
A low-level, pull-based, zero-allocation XML 1.0 parser.
Rust★ 142↓ 11.4M/міс18 вер. 2026 р.
Apache-2.018 вер. 2026 р. · метрики 2.10.0
npm · Maven · RubyGems
42Слабкийіндекс здоров'я
leonsilicon/react-native-jieba
Turbo Module integrating cppjieba for React Native.
TypeScript · C++ · JavaScript★ 0↓ 2 032/міс5 жовт. 2026 р.
MIT5 жовт. 2026 р. · метрики 2.10.0
crates.io
42Слабкийіндекс здоров'я
savannstm/language-tokenizer
Text tokenizer for linguistic purposes, such as text matching. Supports more than 40 languages, including English, French, Russian, Japanese, Thai etc.
Rust★ 2↓ 20.3K/міс19 жовт. 2026 р.
WTFPL19 жовт. 2026 р. · метрики 2.10.0
npm
39Слабкийіндекс здоров'я
ericprud/ts-jison
Bison in JavaScript.
JavaScript · C# · Yacc★ 28↓ 79/міс7 жовт. 2026 р.
MIT7 жовт. 2026 р. · метрики 2.10.0
Packagist
36Слабкийіндекс здоров'я
sebastianbergmann/php-token-stream
Wrapper around PHP's tokenizer extension.
PHP★ 6 374↓ 1.8M/міс27 серп. 2026 р.
Власна ліцензія27 серп. 2026 р. · метрики 2.10.0
PyPI
34У зоні ризикуіндекс здоров'я
bitextor/bitextor
Bitextor generates translation memories from multilingual websites
Python · Shell★ 30012 вер. 2026 р.
GPL-3.012 вер. 2026 р. · метрики 2.10.0
Packagist
34У зоні ризикуіндекс здоров'я
phplrt/lexer
[READ ONLY] Subtree split of the phplrt lexer component (see phplrt/phplrt)
PHP★ 3↓ 6 605/міс13 вер. 2026 р.
MIT13 вер. 2026 р. · метрики 2.10.0
Packagist
34У зоні ризикуіндекс здоров'я
phplrt/lexer-builder
[READ ONLY] Subtree split of the phplrt lexer component (see phplrt/phplrt)
PHP★ 0↓ 4 345/міс15 вер. 2026 р.
MIT15 вер. 2026 р. · метрики 2.10.0
Packagist
34У зоні ризикуіндекс здоров'я
phplrt/lexer-contracts
[READ ONLY] Subtree split of the phplrt lexer contracts component (see phplrt/phplrt)
PHP★ 1↓ 8 474/міс13 вер. 2026 р.
MIT13 вер. 2026 р. · метрики 2.10.0
—
30У зоні ризикуіндекс здоров'я
JuliaLang/Tokenize.jl
Tokenization for Julia source code
Julia★ 10412 вер. 2026 р.
Власна ліцензія12 вер. 2026 р. · метрики 2.10.0
crates.io
29У зоні ризикуіндекс здоров'я
fschutt/simplecss
A very simple CSS 2.1 tokenizer
Rust★ 0↓ 80.1K/міс23 серп. 2026 р.
MPL-2.023 серп. 2026 р. · метрики 2.10.0
crates.io
29У зоні ризикуіндекс здоров'я
spider-rs/markup5ever
Send-able fork of markup5ever, depends on spider-tendril
Rust · Shell★ 0↓ 6 856/міс15 вер. 2026 р.
Apache-2.015 вер. 2026 р. · метрики 2.10.0
npm
27У зоні ризикуіндекс здоров'я
Borewit/tokenizer-token
TypeScript definition for strtok3 token
Змішані★ 3↓ 99.9M/міс23 вер. 2026 р.
Без ліцензії23 вер. 2026 р. · метрики 2.10.0
Packagist
21У зоні ризикуіндекс здоров'я
chriskonnertz/string-calc
PHP calculator library for mathematical terms (expressions) passed as strings
PHP★ 102↓ 18.1K/міс18 жовт. 2026 р.
MIT18 жовт. 2026 р. · метрики 2.10.0
Packagist
19Критичнийіндекс здоров'я
nette/tokenizer
[DISCONTINUED] Source code tokenizer
PHP★ 141↓ 48K/міс18 вер. 2026 р.
Власна ліцензія18 вер. 2026 р. · метрики 2.10.0
npm
13Критичнийіндекс здоров'я
no-context/moo
Optimised tokenizer/lexer generator! 🐄 Uses /y for performance. Moo.
JavaScript · Python★ 88519 вер. 2026 р.
BSD-3-Clause19 вер. 2026 р. · метрики 2.10.0