Go
ron2111/omnitoken
Pure-Go LLM tokenizer and tiktoken-compatible token counter for OpenAI BPE, WordPiece, SentencePiece, Gemini, Llama, Mistral, and Hugging Face adapters.
MIT22 жовт. 2026 р. · метрики 2.10.0
Усі теги
Тег каталогу
#nlp
Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.
213 записів
crates.io
allo-media/text2num-rs
Parse and convert numbers written in English, Dutch, Spanish, German, Italian or French into their digit representation.
MIT14 вер. 2026 р. · метрики 2.10.0
PyPI
aki0ka/meisai-checker
特許明細書の自動方式チェックツール（CLI/GUI/MCP対応）
Без ліцензії11 вер. 2026 р. · метрики 2.10.0
crates.io
jorge-menjivar/tekken-rs
Rust implementation of the Mistral Tekken tokenizer
Apache-2.023 серп. 2026 р. · метрики 2.10.0
crates.io
laisuk/opencc-jieba-rs
A high performance Rust-based Chinese text converter that performs word segmentation using Jieba and OpenCC lexicons.
MIT21 жовт. 2026 р. · метрики 2.10.0
PyPI
pemistahl/lingua-py
The most accurate natural language detection library for Python, suitable for short text and mixed-language text
Apache-2.017 вер. 2026 р. · метрики 2.10.0
Go
bachtiarpanjaitan/ihandai-go
Provider-agnostic Go AI framework for building RAG, agents, and AI-powered applications. Swap LLM providers without code changes — supports Ollama, OpenAI, and more.
Без ліцензії11 вер. 2026 р. · метрики 2.10.0
PyPI
datamade/usaddress
:us: a python library for parsing unstructured United States address strings into address components
MIT17 вер. 2026 р. · метрики 2.10.0
PyPI
kpwhri/konsepy
Framework for build NLP information extraction systems using regular expressions.
Без ліцензії21 жовт. 2026 р. · метрики 2.10.0
Maven
neuml/txtai.java
Java client for txtai
Apache-2.019 вер. 2026 р. · метрики 2.10.0
PyPI
686f6c61/pypi-legal-expand
Smart expansion of Spanish legal acronyms. 647 verified acronyms from RAE, BOE and DPEJ. | Expansión inteligente de siglas legales españolas.
Власна ліцензія10 вер. 2026 р. · метрики 2.10.0
Packagist
Edgaras0x4E/StrSim
Collection of string similarity and distance algorithms in PHP including Levenshtein, Damerau-Levenshtein, Jaro-Winkler, and more
MIT13 жовт. 2026 р. · метрики 2.10.0
PyPI
hplt-project/sacremoses
Python port of Moses tokenizer, truecaser and normalizer
MIT27 серп. 2026 р. · метрики 2.10.0
npm
lmoe/gliner-onnx.js
An ONNX implementation of GLiNER 1 and 2
MIT22 вер. 2026 р. · метрики 2.10.0
PyPI
mholtzscher/syllapy
Calculate syllable count for English words.
MIT15 вер. 2026 р. · метрики 2.10.0
PyPI · crates.io
norse-stack/bragi-io
Опис репозиторію не опубліковано.
Apache-2.014 жовт. 2026 р. · метрики 2.10.0
npm
BobPritchett/edtf-ts
Modern TypeScript implementation of EDTF (Extended Date/Time Format) with natural language parsing
MIT14 жовт. 2026 р. · метрики 2.10.0
PyPI
Max-Christoph/klix
Decoupled decision heads (Choice, Score, Flag) on a shared semantic backbone - local, deterministic, no model training.
MIT27 вер. 2026 р. · метрики 2.10.0
Hex
joshrotenberg/lingua_ex
An Elixir wrapper around the Rust Lingua language detection library.
Apache-2.01 жовт. 2026 р. · метрики 2.10.0
PyPI
rmovva/HypotheSAEs
HypotheSAEs: hypothesizing interpretable relationships in text datasets using sparse autoencoders. https://arxiv.org/abs/2502.04382
Apache-2.014 вер. 2026 р. · метрики 2.10.0
PyPI
martinez-zacharya/TRILL
Sandbox for Deep-Learning based Computational Protein Design
MIT18 жовт. 2026 р. · метрики 2.10.0
Hex
nshkrdotcom/agent_session_manager
Agent Session Manager - A comprehensive Elixir library for managing AI agent sessions, state persistence, conversation context, and multi-agent orchestration workflows
MIT9 вер. 2026 р. · метрики 2.10.0
PyPI
polm/fugashi
A Cython MeCab wrapper for fast, pythonic Japanese tokenization and morphological analysis.
MIT12 вер. 2026 р. · метрики 2.10.0
crates.io
MicheleYin/misaki-rs
Rust port of Misaki
MIT21 жовт. 2026 р. · метрики 2.10.0
Hex
minibikini/paasaa
🔤 Natural language detection for Elixir without AI
MIT21 жовт. 2026 р. · метрики 2.10.0
Packagist
nitotm/efficient-language-detector
Fast and accurate natural language detection. Detector written in PHP. Nito-ELD, ELD.
Apache-2.010 вер. 2026 р. · метрики 2.10.0
PyPI
promplate/partial-json-parser
Parse partial JSON generated by LLM
MIT27 серп. 2026 р. · метрики 2.10.0
PyPI
explosion/spacy-loggers
📟 Logging utilities for spaCy
MIT27 серп. 2026 р. · метрики 2.10.0
npm · Maven · RubyGems
leonsilicon/react-native-jieba
Turbo Module integrating cppjieba for React Native.
MIT5 жовт. 2026 р. · метрики 2.10.0
crates.io
savannstm/language-tokenizer
Text tokenizer for linguistic purposes, such as text matching. Supports more than 40 languages, including English, French, Russian, Japanese, Thai etc.
WTFPL19 жовт. 2026 р. · метрики 2.10.0