crates.io
RazrFalcon/xmlparser
A low-level, pull-based, zero-allocation XML 1.0 parser.
Apache-2.02026年9月18日 · 指标 2.10.0
全部标签
目录标签
#tokenizer
公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。
76 条记录
npm · Maven · RubyGems
leonsilicon/react-native-jieba
Turbo Module integrating cppjieba for React Native.
MIT2026年10月5日 · 指标 2.10.0
crates.io
savannstm/language-tokenizer
Text tokenizer for linguistic purposes, such as text matching. Supports more than 40 languages, including English, French, Russian, Japanese, Thai etc.
WTFPL2026年10月19日 · 指标 2.10.0
npm
ericprud/ts-jison
Bison in JavaScript.
MIT2026年10月7日 · 指标 2.10.0
Packagist
sebastianbergmann/php-token-stream
Wrapper around PHP's tokenizer extension.
自定义许可证2026年8月27日 · 指标 2.10.0
PyPI
bitextor/bitextor
Bitextor generates translation memories from multilingual websites
GPL-3.02026年9月12日 · 指标 2.10.0
Packagist
phplrt/lexer
[READ ONLY] Subtree split of the phplrt lexer component (see phplrt/phplrt)
MIT2026年9月13日 · 指标 2.10.0
Packagist
phplrt/lexer-builder
[READ ONLY] Subtree split of the phplrt lexer component (see phplrt/phplrt)
MIT2026年9月15日 · 指标 2.10.0
Packagist
phplrt/lexer-contracts
[READ ONLY] Subtree split of the phplrt lexer contracts component (see phplrt/phplrt)
MIT2026年9月13日 · 指标 2.10.0
—
JuliaLang/Tokenize.jl
Tokenization for Julia source code
自定义许可证2026年9月12日 · 指标 2.10.0
crates.io
fschutt/simplecss
A very simple CSS 2.1 tokenizer
MPL-2.02026年8月23日 · 指标 2.10.0
crates.io
spider-rs/markup5ever
Send-able fork of markup5ever, depends on spider-tendril
Apache-2.02026年9月15日 · 指标 2.10.0
npm
Borewit/tokenizer-token
TypeScript definition for strtok3 token
无许可证2026年9月23日 · 指标 2.10.0
Packagist
chriskonnertz/string-calc
PHP calculator library for mathematical terms (expressions) passed as strings
MIT2026年10月18日 · 指标 2.10.0
Packagist
nette/tokenizer
[DISCONTINUED] Source code tokenizer
自定义许可证2026年9月18日 · 指标 2.10.0
npm
no-context/moo
Optimised tokenizer/lexer generator! 🐄 Uses /y for performance. Moo.
BSD-3-Clause2026年9月19日 · 指标 2.10.0