Go
bzick/tokenizer
Tokenizer (lexer) for golang
MIT2026年9月5日 · 指标 2.10.0
全部标签
目录标签
#tokenizer
公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。
76 条记录
npm
dazl-dev/tokey
Simple general purpose tokenizer
MIT2026年9月15日 · 指标 2.10.0
Packagist
loupe-php/matcher
A library to highlight and crop terms and context within strings such as search results
MIT2026年9月10日 · 指标 2.10.0
PyPI · crates.io
marcelroed/gigatoken
Language model tokenization at GB/s
MIT2026年9月12日 · 指标 2.10.0
npm
webpro-nl/unbash
Fast 0-deps bash parser written in TypeScript
ISC2026年8月27日 · 指标 2.10.0
NuGet
ProwlEngine/Anthology
The collection of libraries that power the Prowl game engine.
MIT2026年9月13日 · 指标 2.10.0
crates.io · npm · PyPI
bio-rs/bio-rs
AI-ready biological data I/O, validation, and tokenization engine
自定义许可证2026年9月8日 · 指标 2.10.0
NuGet
georg-jung/FastBertTokenizer
Fast and memory-efficient library for WordPiece tokenization as it is used by BERT.
MIT2026年9月15日 · 指标 2.10.0
npm · Go
lancekrogers/tcount
Local Tokenizer/Counter
MIT2026年9月11日 · 指标 2.10.0
crates.io
lindera/lindera-tantivy
Lindera tokenizer for Tantivy.
MIT2026年9月17日 · 指标 2.10.0
Packagist
theseer/tokenizer
A small library for converting tokenized PHP source code into XML (and potentially other formats)
自定义许可证2026年8月27日 · 指标 2.10.0
NuGet
umutozel/Jokenizer.Net
:hash: C# Expression parser and evaluator, inspired from jokenizer project.
MIT2026年9月10日 · 指标 2.10.0
Go
polydawn/refmt
Object mapping for golang.
MIT2026年9月23日 · 指标 2.10.0
Go
chadsr/ollamatokenizer
Ollama's internal tokenization as API endpoints.
MIT2026年10月20日 · 指标 2.10.0
npm
Borewit/token-types
A primitive token library used to read from, and to write a node Buffer
MIT2026年9月23日 · 指标 2.10.0
Go
clipperhouse/uax29
A tokenizer based on Unicode text segmentation (UAX #29), for Go. Split graphemes, words, sentences.
MIT2026年9月14日 · 指标 2.10.0
npm
csstree/csstree
A tool set for CSS including fast detailed parser, walker, generator and lexer based on W3C specs and browser implementations
MIT2026年9月16日 · 指标 2.10.0
crates.io
linebender/svgtypes
A collection of parsers for SVG types.
Apache-2.02026年9月19日 · 指标 2.10.0
Go
ron2111/omnitoken
Pure-Go LLM tokenizer and tiktoken-compatible token counter for OpenAI BPE, WordPiece, SentencePiece, Gemini, Llama, Mistral, and Hugging Face adapters.
MIT2026年10月22日 · 指标 2.10.0
PyPI
tusharsadhwani/pytokens
A fast, spec compliant Python 3.14+ tokenizer that runs on older Pythons.
MIT2026年9月9日 · 指标 2.10.0
crates.io
jorge-menjivar/tekken-rs
Rust implementation of the Mistral Tekken tokenizer
Apache-2.02026年8月23日 · 指标 2.10.0
npm
lydell/js-tokens
Tiny JavaScript tokenizer.
MIT2026年9月13日 · 指标 2.10.0
npm
Borewit/strtok3
Promise based streaming tokenizer
MIT2026年9月23日 · 指标 2.10.0
npm
qwertymuzaffar/chunklet
Token-aware text chunking for RAG - exact source offsets, sentence and markdown modes, zero dependencies.
MIT2026年10月20日 · 指标 2.10.0
npm
siliconvalleyglobal/TokenSaveOS
该仓库未发布描述。
自定义许可证2026年9月18日 · 指标 2.10.0
Packagist
spiral/tokenizer
[READ ONLY] Locate available classes by parent, interface or trait. Subtree split of the Spiral Tokenizer component (see spiral/framework)
MIT2026年10月20日 · 指标 2.10.0
PyPI
hplt-project/sacremoses
Python port of Moses tokenizer, truecaser and normalizer
MIT2026年8月27日 · 指标 2.10.0
PyPI
polm/fugashi
A Cython MeCab wrapper for fast, pythonic Japanese tokenization and morphological analysis.
MIT2026年9月12日 · 指标 2.10.0
npm
Borewit/tokenizer-inflate
A package designed for handling and extracting data from ZIP files efficiently using a tokenizer-based approach. The library provides a customizable way to parse ZIP archives and extract compressed data while minimizing memory usage.
MIT2026年9月16日 · 指标 2.10.0
PyPI
OpenVoiceOS/quebra_frases
chunks strings into byte sized pieces
Apache-2.02026年9月12日 · 指标 2.10.0