Todas las etiquetas
Etiqueta del catálogo

#tokenize

Todos los repositorios del registro público que llevan esta etiqueta, procedente de sus topics de GitHub o de las palabras clave que publican sus registros de paquetes. La salud se mide con la misma metodología versionada que el resto del registro.

12 registros
Con la etiqueta «tokenize»Ordenado por índice de salud
npm
75Buenoíndice de salud
flex-development/mark
a specification for building syntax-aware parsers, compilers, and text processing systems
TypeScript★ 1↓ 2454/mes18 sept 2026
BSD-3-Clause18 sept 2026 · métricas 2.10.0
npm
75Buenoíndice de salud
micromark/micromark
small, safe, and great commonmark (optionally gfm, mdx) compliant markdown parser
JavaScript★ 2220↓ 1.2B/mes16 sept 2026
MIT16 sept 2026 · métricas 2.10.0
PyPI
73Buenoíndice de salud
gristlabs/asttokens
Annotate Python AST trees with source text and token information
Python★ 19612 sept 2026
Apache-2.012 sept 2026 · métricas 2.10.0
Packagist
63Moderadoíndice de salud
loupe-php/matcher
A library to highlight and crop terms and context within strings such as search results
PHP★ 10↓ 26.3K/mes10 sept 2026
MIT10 sept 2026 · métricas 2.10.0
npm
56Moderadoíndice de salud
syntax-tree/hast-util-from-html
hast utility to parse from HTML
JavaScript★ 41↓ 50.5M/mes15 sept 2026
MIT15 sept 2026 · métricas 2.10.0
npm
47Débilíndice de salud
syntax-tree/esast-util-from-js
estree (and esast) utility to parse from JavaScript
JavaScript★ 14↓ 29.4M/mes15 sept 2026
MIT15 sept 2026 · métricas 2.10.0
PyPI
44Débilíndice de salud
OpenVoiceOS/quebra_frases
chunks strings into byte sized pieces
Python★ 112 sept 2026
Apache-2.012 sept 2026 · métricas 2.10.0
npm
38Débilíndice de salud
here-be/snapdragon
snapdragon is an extremely pluggable, powerful and easy-to-use parser-renderer factory.
JavaScript★ 224↓ 36.6M/mes15 sept 2026
MIT15 sept 2026 · métricas 2.10.0
crates.io
31En riesgoíndice de salud
stevedonovan/scanlex
A simple lexical scanner in Rust
Rust★ 12↓ 222.8K/mes13 sept 2026
MIT13 sept 2026 · métricas 2.10.0
PyPI
24En riesgoíndice de salud
myint/untokenize
Transforms tokens into original source code (while preserving whitespace)
Python★ 915 sept 2026
MIT15 sept 2026 · métricas 2.10.0
npm
4Críticoíndice de salud
qatrehai/persian-normalize
Normalize Persian and Arabic-script text — ZWNJ, Arabic yeh/kaf, three digit sets, diacritics. Zero dependencies, TypeScript types.
JavaScript★ 0↓ 211.8K/mes18 oct 2026
MIT18 oct 2026 · métricas 2.10.0