npm
flex-development/mark
a specification for building syntax-aware parsers, compilers, and text processing systems
BSD-3-Clause18 вер. 2026 р. · метрики 2.10.0
Усі теги
Тег каталогу
#tokenize
Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.
12 записів
npm
micromark/micromark
small, safe, and great commonmark (optionally gfm, mdx) compliant markdown parser
MIT16 вер. 2026 р. · метрики 2.10.0
PyPI
gristlabs/asttokens
Annotate Python AST trees with source text and token information
Apache-2.012 вер. 2026 р. · метрики 2.10.0
npm
syntax-tree/mdast-util-from-markdown
mdast utility to parse markdown
MIT16 вер. 2026 р. · метрики 2.10.0
Packagist
loupe-php/matcher
A library to highlight and crop terms and context within strings such as search results
MIT10 вер. 2026 р. · метрики 2.10.0
npm
syntax-tree/hast-util-from-html
hast utility to parse from HTML
MIT15 вер. 2026 р. · метрики 2.10.0
npm
syntax-tree/esast-util-from-js
estree (and esast) utility to parse from JavaScript
MIT15 вер. 2026 р. · метрики 2.10.0
PyPI
OpenVoiceOS/quebra_frases
chunks strings into byte sized pieces
Apache-2.012 вер. 2026 р. · метрики 2.10.0
npm
here-be/snapdragon
snapdragon is an extremely pluggable, powerful and easy-to-use parser-renderer factory.
MIT15 вер. 2026 р. · метрики 2.10.0
crates.io
stevedonovan/scanlex
A simple lexical scanner in Rust
MIT13 вер. 2026 р. · метрики 2.10.0
PyPI
myint/untokenize
Transforms tokens into original source code (while preserving whitespace)
MIT15 вер. 2026 р. · метрики 2.10.0
npm
qatrehai/persian-normalize
Normalize Persian and Arabic-script text — ZWNJ, Arabic yeh/kaf, three digit sets, diacritics. Zero dependencies, TypeScript types.
MIT18 жовт. 2026 р. · метрики 2.10.0