Go
chadsr/ollamatokenizer
Ollama's internal tokenization as API endpoints.
MIT2026年8月23日 · 指标 2.10.0
全部标签
目录标签
#tokenizer
公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。
54 条记录
Go
ron2111/omnitoken
Pure-Go LLM tokenizer and tiktoken-compatible token counter for OpenAI BPE, WordPiece, SentencePiece, Gemini, Llama, Mistral, and Hugging Face adapters.
MIT2026年9月5日 · 指标 2.10.0
Go · npm
lancekrogers/go-token-counter
Local-first LLM token counter: exact OpenAI BPE, Claude/Gemini estimates, context-window usage. Zero network. CLI + Go library.
MIT2026年7月18日 · 指标 2.10.0
Packagist
spiral/tokenizer
[READ ONLY] Locate available classes by parent, interface or trait. Subtree split of the Spiral Tokenizer component (see spiral/framework)
MIT2026年8月22日 · 指标 2.10.0
—
umutozel/Jokenizer.Net
:hash: C# Expression parser and evaluator, inspired from jokenizer project.
MIT2026年7月17日 · 指标 2.10.0
npm
lydell/js-tokens
Tiny JavaScript tokenizer.
MIT2026年7月22日 · 指标 2.10.0
PyPI
tusharsadhwani/pytokens
A fast, spec compliant Python 3.14+ tokenizer that runs on older Pythons.
MIT2026年7月17日 · 指标 2.10.0
crates.io
jorge-menjivar/tekken-rs
Rust implementation of the Mistral Tekken tokenizer
Apache-2.02026年8月23日 · 指标 2.10.0
PyPI · crates.io
marcelroed/gigatoken
Language model tokenization at GB/s
MIT2026年7月22日 · 指标 2.10.0
PyPI
hplt-project/sacremoses
Python port of Moses tokenizer, truecaser and normalizer
MIT2026年8月27日 · 指标 2.10.0
PyPI
OpenVoiceOS/quebra_frases
chunks strings into byte sized pieces
Apache-2.02026年7月21日 · 指标 2.10.0
npm
Borewit/tokenizer-inflate
A package designed for handling and extracting data from ZIP files efficiently using a tokenizer-based approach. The library provides a customizable way to parse ZIP archives and extract compressed data while minimizing memory usage.
MIT2026年8月4日 · 指标 2.10.0
crates.io
RazrFalcon/xmlparser
A low-level, pull-based, zero-allocation XML 1.0 parser.
Apache-2.02026年8月13日 · 指标 2.10.0
PyPI
polm/fugashi
A Cython MeCab wrapper for fast, pythonic Japanese tokenization and morphological analysis.
MIT2026年7月21日 · 指标 2.10.0
crates.io
savannstm/language-tokenizer
Text tokenizer for linguistic purposes, such as text matching. Supports more than 40 languages, including English, French, Russian, Japanese, Thai etc.
WTFPL2026年8月20日 · 指标 2.10.0
Packagist
sebastianbergmann/php-token-stream
Wrapper around PHP's tokenizer extension.
自定义许可证2026年8月27日 · 指标 2.10.0
Packagist
phplrt/lexer
[READ ONLY] Subtree split of the phplrt lexer component (see phplrt/phplrt)
MIT2026年7月24日 · 指标 2.10.0
Packagist
phplrt/lexer-contracts
[READ ONLY] Subtree split of the phplrt lexer contracts component (see phplrt/phplrt)
MIT2026年7月24日 · 指标 2.10.0
—
JuliaLang/Tokenize.jl
Tokenization for Julia source code
自定义许可证2026年7月22日 · 指标 2.10.0
crates.io
fschutt/simplecss
A very simple CSS 2.1 tokenizer
MPL-2.02026年8月23日 · 指标 2.10.0
npm
fent/ret.js
Tokenizes a string that represents a regular expression.
MIT2026年8月31日 · 指标 2.10.0
Packagist
nette/tokenizer
[DISCONTINUED] Source code tokenizer
自定义许可证2026年8月16日 · 指标 2.10.0
npm
plurnk/plurnk-providers
Framework + contract for @plurnk/plurnk-providers-* sibling packages (LLM transports + tokenizer + cost accounting).
MIT2026年7月15日 · 指标 2.10.0
npm
plurnk/plurnk-mimetypes-tokenizers
Bundled LLM tokenizer vocabularies for @plurnk/plurnk-mimetypes' tokenizer seam — exact token counting for window math
MIT2026年7月15日 · 指标 2.10.0