savannstm / language-tokenizer
Text tokenizer for linguistic purposes, such as text matching. Supports more than 40 languages, including English, French, Russian, Japanese, Thai etc.
savannstm/language-tokenizer має індекс здоров’я 42 зі 100, що відповідає смузі «Слабкий». Найвищий показник — Vitality (63/100), найнижчий — Security (25/100). Останнє оновлення було 8 днів тому. Більшість нещодавньої роботи виконує один учасник.
Індекс здоров'я програмного забезпечення
Метрики згруповано у зважені категорії на шкалі 1–100. Загальна оцінка починається як їхнє зважене середнє, відкаліброване за розподілом публічного реєстру, тож діапазони мають перцентильний зміст; коли публічні дані активують Політику юрисдикцій високого ризику, рейтинг коригується й отримує верхню межу 34 («У зоні ризику»).
Профіль оцінок
Кожна вісь — окрема категорія. Форма важить більше, ніж середнє: здоровий об'єкт заповнює всю фігуру, тоді як профіль із піками та провалами означає, що сила в одному вимірі маскує ризик в іншому.
Зважений загальний бал 45 калібровано до 42 за шкалою опублікованого індексу (калібрування реєстру 2026-08-02).
Власність
Цей репозиторій належить особистому обліковому запису. Проєкт з єдиним власником несе більший ризик безперервності, ніж підтримуваний організацією.
Пакетні екосистеми
| Реєстр | Пакет | Версія | Завантажень / міс | Версії | Остання публікація | Теги |
|---|---|---|---|---|---|---|
| crates.io | language-tokenizer | 0.4.2 | 20 281 | 7 | 8 днів тому | textlanguagetokenizersegmenterlinguistictext-processing |
Метрики за категоріями
Життєздатність
Чи живий проєкт — чи пишеться код і чи виходять релізи?
Активність розробки
Як обчислюється оцінка
| 28.8/36 | Свіжість push — останній push 8 дн. тому |
| 2.8/36 | Ритм комітів — 4/52 тижнів із комітами |
| 9/18 | Обсяг комітів — 9 комітів за останній рік |
| 3/10 | OpenSSF Scorecard: Maintained — 4 commit(s) and 0 issue activity found in the last 90 days -- score normalized to 3 |
Використані вхідні дані
| commits_last_year | 9 |
| human_commit_share | — |
| days_since_last_push | 8 |
| active_weeks_last_year | 4 |
Дисципліна релізів
Як обчислюється оцінка
| 27/27 | Випускає релізи — опубліковано 5 релізів |
| 36/36 | Свіжість релізів — останній реліз 8 дн. тому |
| 19.8/27 | Ритм релізів — реліз кожні ~46,5 дн. |
| 0/10 | OpenSSF Scorecard: Signed-Releases — немає даних |
Використані вхідні дані
| releases_count | 5 |
| latest_release_tag | v0.4.2 |
| releases_from_tags | ні |
| days_since_latest_release | 8 |
| mean_days_between_releases | 46,5 |
Спільнота та впровадження
Чи має проєкт користувачів, завантаження, увагу та влаштовані умови для контриб’юторів?
Популярність і впровадження
Як обчислюється оцінка
| 0/60 | Зірки — 2 зірок |
| 0/25 | Форки — 0 форків |
| 0/15 | Спостерігачі — 1 спостерігачів |
Використані вхідні дані
| forks | 0 |
| stars | 2 |
| watchers | 1 |
| growth_state | unverified |
| growth_factor_pct | 100 |
| growth_unverified_reason | no_history |
Здоров'я спільноти
Як обчислюється оцінка
| 22.5/22.5 | README |
| 22.5/22.5 | Ліцензія — визнана ліцензія (WTFPL) |
| 0/18 | Настанови CONTRIBUTING |
| 0/13.5 | Кодекс поведінки |
| 0/7.2 | Шаблон issue |
| 0/6.3 | Шаблон PR |
Використані вхідні дані
| has_readme | так |
| has_license | так |
| readme_badges | 0 |
| has_contributing | ні |
| has_issue_template | ні |
| has_code_of_conduct | ні |
| readme_badge_services | — |
| has_pull_request_template | ні |
Як обчислюється оцінка
| 57.4/80 | Щомісячні завантаження — 20 281 завантажень/місяць у crates |
| 0/20 | Залежні пакети в реєстрі — ця екосистема цього не повідомляє |
Використані вхідні дані
| packages | language-tokenizer |
| dependents | — |
| ecosystems | crates |
| total_downloads | 94 155 |
| monthly_downloads | 20 281 |
| unverified_packages_excluded | — |
Сталість та врядування
Чи переживе проєкт своїх людей — бас-фактор, реактивність, хто за ним стоїть і як супроводжуються пакети?
Стійкість мейнтейнерів (бас-фактор)
Як обчислюється оцінка
| 9/54 | Бас-фактор — на 1 контриб’ютор(ів) припадає половина всіх комітів |
| 0/22.5 | Розподіл комітів — головний контриб’ютор — автор 100% комітів |
| 1.4/13.5 | Широта контриб’юторів — 1 контриб’юторів |
| 3/10 | OpenSSF Scorecard: Contributors — project has 1 contributing companies or organizations -- score normalized to 3 |
Використані вхідні дані
| bus_factor | 1 |
| contributors_sampled | 1 |
| top_contributor_share | 1 |
Реактивність на issue та PR
Як обчислюється оцінка
| 0/42 | Вирішення issue — немає issue або даних |
| 0/30 | Прийняття PR — немає вирішених pull request-ів або даних |
| 0/13 | Newcomer PR acceptance — за 30 дн. не вирішено жодного PR від новачка |
| 0/15 | OpenSSF Scorecard: Code-Review — Found 0/9 approved changesets -- score normalized to 0 |
Використані вхідні дані
| merged_prs | 0 |
| open_issues | 0 |
| closed_issues | 0 |
| prs_merged_7d | 0 |
| prs_decided_7d | 0 |
| prs_merged_30d | 0 |
| prs_decided_30d | 0 |
| issue_closed_ratio | — |
| closed_unmerged_prs | 0 |
| first_time_authors_30d | 0 |
| first_time_prs_merged_30d | 0 |
| first_time_prs_decided_30d | 0 |
Власність та опіка
Як обчислюється оцінка
| 10/30 | Підтримка власника — особистий (користувацький) обліковий запис |
| 0/20 | Верифікований домен — не застосовно до користувацьких облікових записів |
| 7.8/25 | Охоплення власника — 11 підписників у savannstm |
| 14.9/25 | Послужний список — 15 публічних репозиторіїв, вік облікового запису ~3 р. |
Використані вхідні дані
| followers | 11 |
| owner_type | User |
| is_verified | — |
| owner_login | savannstm |
| public_repos | 15 |
| account_age_days | 1 126 |
Супровід пакетів
Як обчислюється оцінка
| 25/25 | Опубліковано й доступно — 1 пакет(ів) у crates |
| 35/35 | Свіжість публікацій — остання публікація 8 дн. тому |
| 20/20 | Історія версій — 7 опублікованих версій |
| 20/20 | Не застарілий — активний, не deprecated і не yanked |
Використані вхідні дані
| packages | language-tokenizer |
| ecosystems | crates |
| any_deprecated | ні |
| min_days_since_publish | 8 |
Інженерна якість
Чи наявні базові інженерні практики та документація?
Інженерні практики
Як обчислюється оцінка
| 0/24 | Процеси CI |
| 24/24 | Наявні тести |
| 16/16 | Конфігурація лінтера — rustfmt.toml |
| 0/9.6 | Pre-commit-хуки |
| 0/6.4 | .editorconfig |
| 0/20 | OpenSSF Scorecard: CI-Tests — немає даних |
Використані вхідні дані
| has_ci | ні |
| has_tests | так |
| has_editorconfig | ні |
| has_linter_config | так |
| has_precommit_config | ні |
Документація
Як обчислюється оцінка
| 30/30 | README |
| 0/25 | Каталог документації |
| 15/15 | Сайт документації / домашня сторінка — https://crates.io/crates/language-tokenizer |
| 10/10 | Опис репозиторію |
| 10/10 | Теми — 15 тем |
| 10/10 | Wiki |
Використані вхідні дані
| topics | cjk, icu, lindera, natural-language-processing, nlp, rust, rust-lib, rust-library, segmenter, snowball, snowballstemmer, text-matching, text-search, tokenizer, unicode |
| has_wiki | так |
| homepage | https://crates.io/crates/language-tokenizer |
| docs_site | https://crates.io/crates/language-tokenizer |
| has_readme | так |
| has_docs_dir | ні |
| has_description | так |
Безпека
Чи міцні видимі практики безпеки й ланцюга постачання, без непослабленої пов’язаності з юрисдикціями високого ризику?
Стан безпеки
Як обчислюється оцінка
| 7.5/7.5 | Binary-Artifacts — no binaries found in the repo |
| 0/7.5 | Branch-Protection — branch protection not enabled on development/release branches |
| 0/2.5 | CI-Tests — немає даних |
| 0/2.5 | CII-Best-Practices — no effort to earn an OpenSSF best practices badge detected |
| 0/7.5 | Code-Review — Found 0/9 approved changesets -- score normalized to 0 |
| 0.8/2.5 | Contributors — project has 1 contributing companies or organizations -- score normalized to 3 |
| 0/10 | Dangerous-Workflow — немає даних |
| 0/7.5 | Dependency-Update-Tool — no update tool detected |
| 0/5 | Fuzzing — project is not fuzzed |
| 2.5/2.5 | Ліцензія — license file detected |
| 2.2/7.5 | Maintained — 4 commit(s) and 0 issue activity found in the last 90 days -- score normalized to 3 |
| 0/5 | Packaging — немає даних |
| 0/5 | Pinned-Dependencies — немає даних |
| 0/5 | SAST — no SAST tool detected |
| 0/5 | Security-Policy — security policy file not detected |
| 0/7.5 | Signed-Releases — немає даних |
| 0/7.5 | Token-Permissions — немає даних |
| 3.8/7.5 | Vulnerabilities — 5 existing vulnerabilities detected |
Використані вхідні дані
| source | openssf_scorecard |
| checks_evaluated | 12 |
| scorecard_version | v5.5.0 |
| checks_inconclusive | 6 |
| scorecard_aggregate | 2,5 |
Готовність до ШІ
Наскільки репозиторій оснащений для розробки та супроводу за участі ШІ-агентів? Має свідомо малу вагу (4%): агентний інструментарій — реальний сигнал супроводу, але репозиторій без нього все одно може отримати 100/100.
Контекст і настанови для агентів
Як обчислюється оцінка
| 0/45 | Інструкції для агентів — немає CLAUDE.md / AGENTS.md / правил редактора |
| 0/15 | Машиночитана документація (llms.txt) |
| 0/40 | Читабельна історія комітів — немає даних |
Використані вхідні дані
| has_llms_txt | ні |
| llms_txt_url | — |
| legible_history_share | — |
| agent_instruction_files | — |
| agent_instruction_max_bytes | — |
Як обчислюється оцінка
| 12.6/18 | Розгортання однією командою — Cargo.toml (домовленість інструментарію, без раннера задач) |
| 22/22 | Автоматизовані тести |
| 11/11 | Конфігурація лінтера / форматера — rustfmt.toml |
| 11/11 | Статична перевірка типів — Rust (статично типізована) |
| 10/10 | Відтворюване середовище — lockfile |
| 0/10 | Підтверджена практика роботи з агентами — немає даних |
| 0/8 | Автоматизоване супроводження — немає даних |
| 0/10 | OpenSSF Scorecard: Pinned-Dependencies — немає даних |
Використані вхідні дані
| has_nix | ні |
| has_tests | так |
| lockfiles | Cargo.lock |
| has_dockerfile | ні |
| typed_language | так |
| bootstrap_files | — |
| has_devcontainer | ні |
| has_linter_config | так |
| typecheck_configs | — |
| agent_commit_share | — |
| toolchain_manifests | Cargo.toml |
| dependency_bot_commit_share | — |
Читабельність коду для моделей
Як обчислюється оцінка
| 45/45 | Типізований код — Rust (статично типізована) |
| 55/55 | Керовані розміри файлів — 0/2 файлів вихідного коду понад 60 КБ |
Використані вхідні дані
| primary_language | Rust |
| largest_source_bytes | 25 774 |
| source_files_sampled | 2 |
| oversized_source_files | 0 |
Ключові факти
Попередження щодо збору даних
- Star history unavailable: GitHub GraphQL error: Resource not accessible by personal access token
- GitHub dependency-graph SBOM unavailable (404); the dependency graph may be disabled for this repository
Докладніше
OpenSSF Scorecard 2.5 / 10
Незалежна, не прив'язана до інструментів оцінка безпеки від відкритого проєкту OpenSSF Scorecard. Кожна перевірка винагороджує практику безпеки, а не інструмент конкретного постачальника. Перевірки, які Scorecard не зміг визначити, позначено н/д і виключено з оцінки безпеки (вони ніколи не зараховуються як нуль).
| 10 | Binary-Artifacts | no binaries found in the repo |
| 0 | Branch-Protection | branch protection not enabled on development/release branches |
| н/д | CI-Tests | no pull request found |
| 0 | CII-Best-Practices | no effort to earn an OpenSSF best practices badge detected |
| 0 | Code-Review | Found 0/9 approved changesets -- score normalized to 0 |
| 3 | Contributors | project has 1 contributing companies or organizations -- score normalized to 3 |
| н/д | Dangerous-Workflow | no workflows found |
| 0 | Dependency-Update-Tool | no update tool detected |
| 0 | Fuzzing | project is not fuzzed |
| 10 | License | license file detected |
| 3 | Maintained | 4 commit(s) and 0 issue activity found in the last 90 days -- score normalized to 3 |
| н/д | Packaging | packaging workflow not detected |
| н/д | Pinned-Dependencies | no dependencies found |
| 0 | SAST | no SAST tool detected |
| 0 | Security-Policy | security policy file not detected |
| н/д | Signed-Releases | no releases found |
| н/д | Token-Permissions | No tokens found |
| 5 | Vulnerabilities | 5 existing vulnerabilities detected |
Прямі залежності 13
| Реєстр | Пакет | Обмеження версії | Маніфест |
|---|---|---|---|
| crates.io | icu_segmenter | 2.3.0 | Cargo.toml |
| crates.io | itertools | 0.15.0 | Cargo.toml |
| crates.io | lindera | 6.2.0 | Cargo.toml |
| crates.io | lindera-analysis | 6.2.0 | Cargo.toml |
| crates.io | num_enum | 0.7.6 | Cargo.toml |
| crates.io | serde | 1.0.229 | Cargo.toml |
| crates.io | strsim | 0.11.1 | Cargo.toml |
| crates.io | strum | 0.28.0 | Cargo.toml |
| crates.io | strum_macros | 0.28.0 | Cargo.toml |
| crates.io | thiserror | 2.0.21 | Cargo.toml |
| crates.io | unicode-normalization | 0.1.25 | Cargo.toml |
| crates.io | unicode-segmentation | 1.13.3 | Cargo.toml |
| crates.io | waken_snowball | 0.1.0 | Cargo.toml |
Усі залежності не зібрано
Не вдалося зібрати розв'язаний набір залежностей для цього звіту: GitHub dependency-graph SBOM unavailable (404); the dependency graph may be disabled for this repository
Звіт у форматі JSON машиночитний
Зворотний зв’язок
Помітили щось хибне у цьому звіті або маєте чим поділитися? Неправильні вимірювання, непомічені інструменти, ідеї, запитання — усе доречно. Кожне повідомлення читається й отримує відповідь.
Оцінки — це сигнали, а не гарантії. Вони відображають публічно видимі практики на GitHub — це не аудит коду й не гарантія безпеки.
Відсутні дані виключаються, а ваги перенормовуються — нуль за відсутність ніколи не ставиться. Методологія версіонована й відкрита: метрики v2.10.0, схема v0.34.0 — повна методологія · вікі метрик.
Як окремий результат виглядає на тлі всього реєстру: сукупна статистика — crates.io.