tokenization — 开源软件健康

PyPI

98卓越健康指数

PyThaiNLP/pythainlp

Thai natural language processing in Python

Python★ 1,154↓ 682.2K/月2026年9月17日

Apache-2.02026年9月17日 · 指标 2.10.0

npm

89优秀健康指数

toon-format/toon

🎒 Token-Oriented Object Notation (TOON) – compact, human-readable serialization of JSON data for LLM prompts. TypeScript SDK, CLI, benchmarks.

TypeScript★ 25.4K↓ 4.7M/月2026年9月16日

MIT2026年9月16日 · 指标 2.10.0

PyPI · npm

87优秀健康指数

explosion/spaCy

💫 Industrial-strength Natural Language Processing (NLP) in Python

Python · MDX · Cython★ 33.9K2026年9月16日

MIT2026年9月16日 · 指标 2.10.0

Maven

80优秀健康指数

Worklytics/psoxy

serverless ☁️ 🚀 , pseudonymizing proxy between Worklytics and your workplace 💼 SaaS data sources' APIs. Data Loss Prevention (DLP) 🛡️🔒 and compliance layer deployable to AWS Lambda or GCP Cloud Functions.

Java · HCL★ 152026年9月18日

自定义许可证2026年9月18日 · 指标 2.10.0

npm

73良好健康指数

johannschopplich/tokenx

📐 Fast token estimation with 95%+ average accuracy in a 2kB bundle

TypeScript★ 177↓ 6.2M/月2026年9月15日

MIT2026年9月15日 · 指标 2.10.0

PyPI · crates.io

63中等健康指数

marcelroed/gigatoken

Language model tokenization at GB/s

Rust · Python★ 4,093↓ 261.6K/月2026年9月12日

MIT2026年9月12日 · 指标 2.10.0

crates.io · npm · PyPI

62中等健康指数

bio-rs/bio-rs

AI-ready biological data I/O, validation, and tokenization engine

Rust · Python★ 3↓ 925/月2026年9月8日

自定义许可证2026年9月8日 · 指标 2.10.0

NuGet

62中等健康指数

georg-jung/FastBertTokenizer

Fast and memory-efficient library for WordPiece tokenization as it is used by BERT.

C#★ 542026年9月15日

MIT2026年9月15日 · 指标 2.10.0

npm

59中等健康指数

privent-ai/n8n-nodes-privent

Open-source data protection framework for AI agent workflows in n8n. Detects, tokenizes, and reversibly anonymizes sensitive data before it reaches your models.

TypeScript★ 4↓ 267/月2026年9月14日

MIT2026年9月14日 · 指标 2.10.0

RubyGems

57中等健康指数

rosette-api/ruby

Babel Street Analytics Client Library for Ruby

Ruby★ 42026年10月6日

自定义许可证2026年10月6日 · 指标 2.10.0

57中等健康指数

shepard-labs/go-toon

Go implementation of Token-Oriented Object Notation (TOON)

Go★ 12026年10月18日

MIT2026年10月18日 · 指标 2.10.0

56中等健康指数

chadsr/ollamatokenizer

Ollama's internal tokenization as API endpoints.

Go★ 12026年10月20日

MIT2026年10月20日 · 指标 2.10.0

NuGet

54中等健康指数

CharlesHunt/ToonDotNet

This is a conversion of the ToonFormat/Toon repo to C#

C#★ 82026年9月15日

MIT2026年9月15日 · 指标 2.10.0

Packagist

54中等健康指数

ParadoxLabs-Inc/authnetcim

Authorize.net CIM payments for Magento 2

PHP · HTML★ 14↓ 9,471/月2026年9月18日

Apache-2.02026年9月18日 · 指标 2.10.0

54中等健康指数

clipperhouse/uax29

A tokenizer based on Unicode text segmentation (UAX #29), for Go. Split graphemes, words, sentences.

Go★ 1212026年9月14日

MIT2026年9月14日 · 指标 2.10.0

54中等健康指数

ron2111/omnitoken

Pure-Go LLM tokenizer and tiktoken-compatible token counter for OpenAI BPE, WordPiece, SentencePiece, Gemini, Llama, Mistral, and Hugging Face adapters.

Go★ 72026年10月22日

MIT2026年10月22日 · 指标 2.10.0

Packagist

51中等健康指数