Alle Tags
Katalog-Tag

#tokenizer

Alle Repositories im öffentlichen Register, die dieses Tag tragen — aus ihren GitHub-Topics oder den von ihren Paket-Registries veröffentlichten Schlagwörtern. Die Gesundheit wird nach derselben versionierten Methodik gemessen wie im übrigen Register.

76 Einträge
Getaggt als „tokenizer“Geordnet nach Gesundheitsindex
crates.io
44SchwachGesundheitsindex
RazrFalcon/xmlparser
A low-level, pull-based, zero-allocation XML 1.0 parser.
Rust★ 142↓ 11.4M/Monat18. Sept. 2026
Apache-2.018. Sept. 2026 · Metriken 2.10.0
npm · Maven · RubyGems
42SchwachGesundheitsindex
leonsilicon/react-native-jieba
Turbo Module integrating cppjieba for React Native.
TypeScript · C++ · JavaScript★ 0↓ 2.032/Monat5. Okt. 2026
MIT5. Okt. 2026 · Metriken 2.10.0
crates.io
42SchwachGesundheitsindex
savannstm/language-tokenizer
Text tokenizer for linguistic purposes, such as text matching. Supports more than 40 languages, including English, French, Russian, Japanese, Thai etc.
Rust★ 2↓ 20.3K/Monat19. Okt. 2026
WTFPL19. Okt. 2026 · Metriken 2.10.0
npm
39SchwachGesundheitsindex
ericprud/ts-jison
Bison in JavaScript.
JavaScript · C# · Yacc★ 28↓ 79/Monat7. Okt. 2026
MIT7. Okt. 2026 · Metriken 2.10.0
Packagist
36SchwachGesundheitsindex
sebastianbergmann/php-token-stream
Wrapper around PHP's tokenizer extension.
PHP★ 6.374↓ 1.8M/Monat27. Aug. 2026
Eigene Lizenz27. Aug. 2026 · Metriken 2.10.0
PyPI
34GefährdetGesundheitsindex
bitextor/bitextor
Bitextor generates translation memories from multilingual websites
Python · Shell★ 30012. Sept. 2026
GPL-3.012. Sept. 2026 · Metriken 2.10.0
Packagist
34GefährdetGesundheitsindex
phplrt/lexer
[READ ONLY] Subtree split of the phplrt lexer component (see phplrt/phplrt)
PHP★ 3↓ 6.605/Monat13. Sept. 2026
MIT13. Sept. 2026 · Metriken 2.10.0
Packagist
34GefährdetGesundheitsindex
phplrt/lexer-builder
[READ ONLY] Subtree split of the phplrt lexer component (see phplrt/phplrt)
PHP★ 0↓ 4.345/Monat15. Sept. 2026
MIT15. Sept. 2026 · Metriken 2.10.0
Packagist
34GefährdetGesundheitsindex
phplrt/lexer-contracts
[READ ONLY] Subtree split of the phplrt lexer contracts component (see phplrt/phplrt)
PHP★ 1↓ 8.474/Monat13. Sept. 2026
MIT13. Sept. 2026 · Metriken 2.10.0
—
30GefährdetGesundheitsindex
JuliaLang/Tokenize.jl
Tokenization for Julia source code
Julia★ 10412. Sept. 2026
Eigene Lizenz12. Sept. 2026 · Metriken 2.10.0
crates.io
29GefährdetGesundheitsindex
fschutt/simplecss
A very simple CSS 2.1 tokenizer
Rust★ 0↓ 80.1K/Monat23. Aug. 2026
MPL-2.023. Aug. 2026 · Metriken 2.10.0
crates.io
29GefährdetGesundheitsindex
spider-rs/markup5ever
Send-able fork of markup5ever, depends on spider-tendril
Rust · Shell★ 0↓ 6.856/Monat15. Sept. 2026
Apache-2.015. Sept. 2026 · Metriken 2.10.0
npm
27GefährdetGesundheitsindex
Borewit/tokenizer-token
TypeScript definition for strtok3 token
Gemischt★ 3↓ 99.9M/Monat23. Sept. 2026
Keine Lizenz23. Sept. 2026 · Metriken 2.10.0
Packagist
21GefährdetGesundheitsindex
chriskonnertz/string-calc
PHP calculator library for mathematical terms (expressions) passed as strings
PHP★ 102↓ 18.1K/Monat18. Okt. 2026
MIT18. Okt. 2026 · Metriken 2.10.0
Packagist
19KritischGesundheitsindex
nette/tokenizer
[DISCONTINUED] Source code tokenizer
PHP★ 141↓ 48K/Monat18. Sept. 2026
Eigene Lizenz18. Sept. 2026 · Metriken 2.10.0
npm
13KritischGesundheitsindex
no-context/moo
Optimised tokenizer/lexer generator! 🐄 Uses /y for performance. Moo.
JavaScript · Python★ 88519. Sept. 2026
BSD-3-Clause19. Sept. 2026 · Metriken 2.10.0