Go
ron2111/omnitoken
Pure-Go LLM tokenizer and tiktoken-compatible token counter for OpenAI BPE, WordPiece, SentencePiece, Gemini, Llama, Mistral, and Hugging Face adapters.
MIT5 вер. 2026 р. · метрики 2.10.0
Усі теги
Тег каталогу
#nlp
Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.
145 записів
PyPI · crates.io
typangaa/canto-hk-g2p
Fast Cantonese text-to-Jyutping (G2P) — Rust core, Python (PyO3). Numbers, dates, and HK English code-switching.
Власна ліцензія2 серп. 2026 р. · метрики 2.10.0
PyPI
buchwandler/abbr2words
Multilingual, context-aware abbreviation expansion for text normalization and speech.
Apache-2.028 серп. 2026 р. · метрики 2.10.0
PyPI
ryanpavlicek/pyaegean
A specialist Python toolkit for Ancient Greek - alphabetic Greek NLP (incl. a neural pipeline) and the Aegean syllabic scripts (Linear A, Linear B, Cypriot, Cypro-Minoan)
Apache-2.016 лип. 2026 р. · метрики 2.10.0
RubyGems
yohasebe/engtagger
English Part-of-Speech Tagger Library; a Ruby port of Lingua::EN::Tagger
GPL-2.027 лип. 2026 р. · метрики 2.10.0
npm
VisualText/npm-package-nlpengine
Node.js bindings for the NLP++ text-analysis engine (npm peer of the Python package NLPPlus)
MIT18 лип. 2026 р. · метрики 2.10.0
crates.io
laisuk/opencc-jieba-rs
A high performance Rust-based Chinese text converter that performs word segmentation using Jieba and OpenCC lexicons.
MIT29 серп. 2026 р. · метрики 2.10.0
PyPI
rmovva/HypotheSAEs
HypotheSAEs: hypothesizing interpretable relationships in text datasets using sparse autoencoders. https://arxiv.org/abs/2502.04382
Apache-2.027 лип. 2026 р. · метрики 2.10.0
RubyGems
yohasebe/wp2txt
A command-line tool to extract plain text from Wikipedia dumps with category and section filtering
MIT19 лип. 2026 р. · метрики 2.10.0
PyPI
686f6c61/pypi-legal-expand
Smart expansion of Spanish legal acronyms. 647 verified acronyms from RAE, BOE and DPEJ. | Expansión inteligente de siglas legales españolas.
Власна ліцензія18 лип. 2026 р. · метрики 2.10.0
crates.io
Xuanwo/frostem
Pre-built Snowball stemmers for Rust (tracks snowball main)
BSD-3-Clause11 серп. 2026 р. · метрики 2.10.0
Go
bachtiarpanjaitan/ihandai-go
Provider-agnostic Go AI framework for building RAG, agents, and AI-powered applications. Swap LLM providers without code changes — supports Ollama, OpenAI, and more.
Без ліцензії18 лип. 2026 р. · метрики 2.10.0
crates.io
jorge-menjivar/tekken-rs
Rust implementation of the Mistral Tekken tokenizer
Apache-2.023 серп. 2026 р. · метрики 2.10.0
crates.io
jqueguiner/presidio-rs
A Rust port of Microsoft Presidio — PII detection & anonymization (analyzer + anonymizer + Python bindings)
MIT19 лип. 2026 р. · метрики 2.10.0
Hex
minibikini/paasaa
🔤 Natural language detection for Elixir without AI
MIT3 вер. 2026 р. · метрики 2.10.0
PyPI
pemistahl/lingua-py
The most accurate natural language detection library for Python, suitable for short text and mixed-language text
Apache-2.013 серп. 2026 р. · метрики 2.10.0
PyPI · crates.io
marcelroed/gigatoken
Language model tokenization at GB/s
MIT22 лип. 2026 р. · метрики 2.10.0
PyPI
mholtzscher/syllapy
Calculate syllable count for English words.
MIT1 серп. 2026 р. · метрики 2.10.0
PyPI
aki0ka/meisai-checker
特許明細書の自動方式チェックツール（CLI/GUI/MCP対応）
Без ліцензії19 лип. 2026 р. · метрики 2.10.0
PyPI
hplt-project/sacremoses
Python port of Moses tokenizer, truecaser and normalizer
MIT27 серп. 2026 р. · метрики 2.10.0
Packagist
nitotm/efficient-language-detector
Fast and accurate natural language detection. Detector written in PHP. Nito-ELD, ELD.
Apache-2.018 лип. 2026 р. · метрики 2.10.0
crates.io
MicheleYin/misaki-rs
Rust port of Misaki
MIT4 вер. 2026 р. · метрики 2.10.0
crates.io
allo-media/text2num-rs
Parse and convert numbers written in English, Dutch, Spanish, German, Italian or French into their digit representation.
MIT29 лип. 2026 р. · метрики 2.10.0
PyPI
kpwhri/konsepy
Framework for build NLP information extraction systems using regular expressions.
Без ліцензії5 вер. 2026 р. · метрики 2.10.0
PyPI
polm/fugashi
A Cython MeCab wrapper for fast, pythonic Japanese tokenization and morphological analysis.
MIT21 лип. 2026 р. · метрики 2.10.0
PyPI
promplate/partial-json-parser
Parse partial JSON generated by LLM
MIT27 серп. 2026 р. · метрики 2.10.0
RubyGems
yohasebe/ruby-spacy
A wrapper module for using spaCy natural language processing library from the Ruby programming language via PyCall
MIT19 лип. 2026 р. · метрики 2.10.0
PyPI
explosion/spacy-loggers
📟 Logging utilities for spaCy
MIT27 серп. 2026 р. · метрики 2.10.0
Hex
nshkrdotcom/agent_session_manager
Agent Session Manager - A comprehensive Elixir library for managing AI agent sessions, state persistence, conversation context, and multi-agent orchestration workflows
MIT17 лип. 2026 р. · метрики 2.10.0
PyPI
Tiiiger/bert_score
BERT score for text generation
MIT21 лип. 2026 р. · метрики 2.10.0