Todas las etiquetas
Etiqueta del catálogo

#tokenizer

Todos los repositorios del registro público que llevan esta etiqueta, procedente de sus topics de GitHub o de las palabras clave que publican sus registros de paquetes. La salud se mide con la misma metodología versionada que el resto del registro.

27 registros
Con la etiqueta «tokenizer»Ordenado por índice de salud
crates.io
80Buenoíndice de salud
huggingface/tokenizers
💥 Fast State-of-the-Art Tokenizers optimized for Research and Production
Rust · Python★ 10.9K↓ 2.9M/mes16 jul 2026
Apache-2.016 jul 2026 · métricas 1.13.0
npm
74Buenoíndice de salud
csstools/postcss-plugins
PostCSS Tools and Plugins
CSS · JavaScript · TypeScript★ 1051↓ 906M/mes22 jul 2026
MIT-022 jul 2026 · métricas 1.13.0
crates.io · npm · Packagist +2
72Buenoíndice de salud
lindera/lindera
A multilingual morphological analysis library.
Rust★ 644↓ 481.1K/mes18 jul 2026
MIT18 jul 2026 · métricas 1.13.0
Packagist
61Moderadoíndice de salud
loupe-php/matcher
A library to highlight and crop terms and context within strings such as search results
PHP★ 10↓ 20.6K/mes17 jul 2026
MIT17 jul 2026 · métricas 1.13.0
Go
58Moderadoíndice de salud
ron2111/omnitoken
Pure-Go LLM tokenizer and tiktoken-compatible token counter for OpenAI BPE, WordPiece, SentencePiece, Gemini, Llama, Mistral, and Hugging Face adapters.
Go★ 615 jul 2026
MIT15 jul 2026 · métricas 1.13.0
Go
57Moderadoíndice de salud
bzick/tokenizer
Tokenizer (lexer) for golang
Go★ 14115 jul 2026
MIT15 jul 2026 · métricas 1.13.0
npm
57Moderadoíndice de salud
csstree/csstree
A tool set for CSS including fast detailed parser, walker, generator and lexer based on W3C specs and browser implementations
JavaScript★ 2111↓ 399M/mes22 jul 2026
MIT22 jul 2026 · métricas 1.13.0
crates.io
56Moderadoíndice de salud
sile/erl_tokenize
An Erlang source code tokenizer written in Rust.
Rust★ 12↓ 2179/mes22 jul 2026
Apache-2.022 jul 2026 · métricas 1.13.0
npm
56Moderadoíndice de salud
webpro-nl/unbash
Fast 0-deps bash parser written in TypeScript
Shell · TypeScript★ 34↓ 29.9M/mes17 jul 2026
ISC17 jul 2026 · métricas 1.13.0
PyPI
55Moderadoíndice de salud
bitextor/bitextor
Bitextor generates translation memories from multilingual websites
Python · Shell★ 29921 jul 2026
GPL-3.021 jul 2026 · métricas 1.13.0
Go · npm
55Moderadoíndice de salud
lancekrogers/tcount
Local-first LLM token counter: exact OpenAI BPE, Claude/Gemini estimates, context-window usage. Zero network. CLI + Go library.
Go★ 2↓ 19/mes13 jul 2026
MIT13 jul 2026 · métricas 1.13.0
—
55Moderadoíndice de salud
umutozel/Jokenizer.Net
:hash: C# Expression parser and evaluator, inspired from jokenizer project.
C#★ 1117 jul 2026
MIT17 jul 2026 · métricas 1.13.0
Go
54Moderadoíndice de salud
chadsr/ollamatokenizer
Ollama's internal tokenization as API endpoints.
Go★ 1↓ 0/mes14 jul 2026
MIT14 jul 2026 · métricas 1.13.0
Go · npm
54Moderadoíndice de salud
lancekrogers/go-token-counter
Local-first LLM token counter: exact OpenAI BPE, Claude/Gemini estimates, context-window usage. Zero network. CLI + Go library.
Go★ 218 jul 2026
MIT18 jul 2026 · métricas 1.13.0
Packagist
54Moderadoíndice de salud
spiral/tokenizer
[READ ONLY] Locate available classes by parent, interface or trait. Subtree split of the Spiral Tokenizer component (see spiral/framework)
PHP★ 18↓ 425.3K/mes13 jul 2026
MIT13 jul 2026 · métricas 1.13.0
PyPI
53Moderadoíndice de salud
tusharsadhwani/pytokens
A fast, spec compliant Python 3.14+ tokenizer that runs on older Pythons.
Python★ 417 jul 2026
MIT17 jul 2026 · métricas 1.13.0
npm
52Moderadoíndice de salud
lydell/js-tokens
Tiny JavaScript tokenizer.
JavaScript · CoffeeScript★ 55622 jul 2026
MIT22 jul 2026 · métricas 1.13.0
PyPI
50Moderadoíndice de salud
hplt-project/sacremoses
Python port of Moses tokenizer, truecaser and normalizer
Python★ 497↓ 2.4M/mes21 jul 2026
MIT21 jul 2026 · métricas 1.13.0
PyPI · crates.io
50Moderadoíndice de salud
marcelroed/gigatoken
Language model tokenization at GB/s
Rust · Python★ 115↓ 2741/mes22 jul 2026
MIT22 jul 2026 · métricas 1.13.0
PyPI
48En riesgoíndice de salud
OpenVoiceOS/quebra_frases
chunks strings into byte sized pieces
Python★ 121 jul 2026
Apache-2.021 jul 2026 · métricas 1.13.0
npm
47En riesgoíndice de salud
borewit/tokenizer-inflate
A package designed for handling and extracting data from ZIP files efficiently using a tokenizer-based approach. The library provides a customizable way to parse ZIP archives and extract compressed data while minimizing memory usage.
TypeScript★ 0↓ 83.2M/mes15 jul 2026
MIT15 jul 2026 · métricas 1.13.0
PyPI
46En riesgoíndice de salud
polm/fugashi
A Cython MeCab wrapper for fast, pythonic Japanese tokenization and morphological analysis.
C++ · Cython · Python★ 53321 jul 2026
MIT21 jul 2026 · métricas 1.13.0
Packagist
44En riesgoíndice de salud
mck89/peast
JavaScript parser written in PHP that generates AST from your code according to ECMAScript specification
PHP★ 192↓ 1.4M/mes21 jul 2026
BSD-3-Clause21 jul 2026 · métricas 1.13.0
—
30En riesgoíndice de salud
JuliaLang/Tokenize.jl
Tokenization for Julia source code
Julia★ 10422 jul 2026
Licencia propia22 jul 2026 · métricas 1.13.0
Packagist
28Críticoíndice de salud
theseer/tokenizer
A small library for converting tokenized PHP source code into XML (and potentially other formats)
PHP★ 5199↓ 14.3M/mes20 jul 2026
Licencia propia20 jul 2026 · métricas 1.13.0
npm
16Críticoíndice de salud
plurnk/plurnk-providers
Framework + contract for @plurnk/plurnk-providers-* sibling packages (LLM transports + tokenizer + cost accounting).
TypeScript · JavaScript★ 0↓ 9778/mes15 jul 2026
MIT15 jul 2026 · métricas 1.13.0
npm
13Críticoíndice de salud
plurnk/plurnk-mimetypes-tokenizers
Bundled LLM tokenizer vocabularies for @plurnk/plurnk-mimetypes' tokenizer seam — exact token counting for window math
JavaScript★ 0↓ 2529/mes15 jul 2026
MIT15 jul 2026 · métricas 1.13.0