Усі теги
Тег каталогу

#tokenize

Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.

6 записів
З тегом «tokenize»Упорядковано за індексом здоров'я
PyPI
77Добрийіндекс здоров'я
gristlabs/asttokens
Annotate Python AST trees with source text and token information
Python★ 19220 лип. 2026 р.
Apache-2.020 лип. 2026 р. · метрики 2.10.0
npm
67Добрийіндекс здоров'я
syntax-tree/mdast-util-from-markdown
mdast utility to parse markdown
JavaScript★ 285↓ 197M/міс4 серп. 2026 р.
MIT4 серп. 2026 р. · метрики 2.10.0
Packagist
65Добрийіндекс здоров'я
loupe-php/matcher
A library to highlight and crop terms and context within strings such as search results
PHP★ 10↓ 20.6K/міс17 лип. 2026 р.
MIT17 лип. 2026 р. · метрики 2.10.0
npm
57Помірнийіндекс здоров'я
micromark/micromark
small, safe, and great commonmark (optionally gfm, mdx) compliant markdown parser
JavaScript★ 2 199↓ 1.4B/міс4 серп. 2026 р.
MIT4 серп. 2026 р. · метрики 2.10.0
PyPI
47Слабкийіндекс здоров'я
OpenVoiceOS/quebra_frases
chunks strings into byte sized pieces
Python★ 121 лип. 2026 р.
Apache-2.021 лип. 2026 р. · метрики 2.10.0
crates.io
34У зоні ризикуіндекс здоров'я
stevedonovan/scanlex
A simple lexical scanner in Rust
Rust★ 12↓ 379.4K/міс25 лип. 2026 р.
MIT25 лип. 2026 р. · метрики 2.10.0