
ron2111/omnitokenPure-Go LLM tokenizer and tiktoken-compatible token counter for OpenAI BPE, WordPiece, SentencePiece, Gemini, Llama, Mistral, and Hugging Face adapters.
Go★ 72026年10月22日

allo-media/text2num-rsParse and convert numbers written in English, Dutch, Spanish, German, Italian or French into their digit representation.
Rust★ 9↓ 5,851/月2026年9月14日
Python · HTML★ 1↓ 4,088/月2026年9月11日
Rust★ 72026年8月23日

laisuk/opencc-jieba-rsA high performance Rust-based Chinese text converter that performs word segmentation using Jieba and OpenCC lexicons.
Rust · C★ 2↓ 2,000/月2026年10月21日

pemistahl/lingua-pyThe most accurate natural language detection library for Python, suitable for short text and mixed-language text
Python★ 1,796↓ 2.8M/月2026年9月17日

bachtiarpanjaitan/ihandai-goProvider-agnostic Go AI framework for building RAG, agents, and AI-powered applications. Swap LLM providers without code changes — supports Ollama, OpenAI, and more.
Go★ 12026年9月11日

datamade/usaddress:us: a python library for parsing unstructured United States address strings into address components
Python★ 1,6372026年9月17日

kpwhri/konsepyFramework for build NLP information extraction systems using regular expressions.
Python★ 1↓ 341/月2026年10月21日
Java★ 432026年9月19日

686f6c61/pypi-legal-expandSmart expansion of Spanish legal acronyms. 647 verified acronyms from RAE, BOE and DPEJ. | Expansión inteligente de siglas legales españolas.
Python★ 3↓ 1,548/月2026年9月10日

Edgaras0x4E/StrSimCollection of string similarity and distance algorithms in PHP including Levenshtein, Damerau-Levenshtein, Jaro-Winkler, and more
PHP★ 30↓ 8,586/月2026年10月13日
Python★ 497↓ 2.7M/月2026年8月27日
TypeScript★ 4↓ 9,082/月2026年9月22日
Python · Just★ 42↓ 1.2M/月2026年9月15日
Rust★ 0↓ 5,067/月2026年10月14日

BobPritchett/edtf-tsModern TypeScript implementation of EDTF (Extended Date/Time Format) with natural language parsing
TypeScript★ 2↓ 4,716/月2026年10月14日

Max-Christoph/klixDecoupled decision heads (Choice, Score, Flag) on a shared semantic backbone - local, deterministic, no model training.
Python★ 0↓ 2,164/月2026年9月27日
Elixir · Rust★ 16↓ 2,101/月2026年10月1日

rmovva/HypotheSAEsHypotheSAEs: hypothesizing interpretable relationships in text datasets using sparse autoencoders. https://arxiv.org/abs/2502.04382
Jupyter Notebook★ 95↓ 96/月2026年9月14日
Python★ 121↓ 165/月2026年10月18日

nshkrdotcom/agent_session_managerAgent Session Manager - A comprehensive Elixir library for managing AI agent sessions, state persistence, conversation context, and multi-agent orchestration workflows
Elixir★ 112026年9月9日

polm/fugashiA Cython MeCab wrapper for fast, pythonic Japanese tokenization and morphological analysis.
C++ · Cython · Python★ 537↓ 786K/月2026年9月12日
Rust★ 10↓ 18.2K/月2026年10月21日
Elixir★ 144↓ 2,884/月2026年10月21日
PHP★ 63↓ 55.2K/月2026年9月10日
Python★ 137↓ 7.1M/月2026年8月27日
Python★ 12↓ 23.1M/月2026年8月27日
npm · Maven · RubyGems42薄弱健康指数
TypeScript · C++ · JavaScript★ 0↓ 2,032/月2026年10月5日

savannstm/language-tokenizerText tokenizer for linguistic purposes, such as text matching. Supports more than 40 languages, including English, French, Russian, Japanese, Thai etc.
Rust★ 2↓ 20.3K/月2026年10月19日