目录标签

#tokenize

公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。

6 条记录

标签为“tokenize”按健康指数排序

PyPI

77良好健康指数

Annotate Python AST trees with source text and token information

Python★ 1922026年7月20日

Apache-2.02026年7月20日 · 指标 2.10.0

npm

67良好健康指数

mdast utility to parse markdown

JavaScript★ 285↓ 197M/月2026年8月4日

MIT2026年8月4日 · 指标 2.10.0

Packagist

65良好健康指数

A library to highlight and crop terms and context within strings such as search results

PHP★ 10↓ 20.6K/月2026年7月17日

MIT2026年7月17日 · 指标 2.10.0

npm

57中等健康指数

small, safe, and great commonmark (optionally gfm, mdx) compliant markdown parser

JavaScript★ 2,199↓ 1.4B/月2026年8月4日

MIT2026年8月4日 · 指标 2.10.0

PyPI

47薄弱健康指数

chunks strings into byte sized pieces

Python★ 12026年7月21日

Apache-2.02026年7月21日 · 指标 2.10.0

crates.io

34存在风险健康指数

A simple lexical scanner in Rust

Rust★ 12↓ 379.4K/月2026年7月25日

MIT2026年7月25日 · 指标 2.10.0