DEPRECATED: Command-line tool and Python API for targeted syntactic evaluation of language models
cpllab/syntaxgym-core має індекс здоров’я 10 зі 100, що відповідає смузі «Критичний». Найвищий показник — AI Readiness (48/100), найнижчий — Vitality (20/100). Репозиторій заархівовано, тож подальшої підтримки не очікується.
Метрики згруповано у зважені категорії на шкалі 1–100. Загальна оцінка починається як їхнє зважене середнє, відкаліброване за розподілом публічного реєстру, тож діапазони мають перцентильний зміст; коли публічні дані активують Політику юрисдикцій високого ризику, рейтинг коригується й отримує верхню межу 34 («У зоні ризику»).
Кожна вісь — окрема категорія. Форма важить більше, ніж середнє: здоровий об'єкт заповнює всю фігуру, тоді як профіль із піками та провалами означає, що сила в одному вимірі маскує ризик в іншому.
Зважений загальний бал 32 калібровано до 26 за шкалою опублікованого індексу (калібрування реєстру 2026-08-02).
За цим репозиторієм стоїть організація — спільна, підзвітна опіка, здатна пережити будь-якого окремого мейнтейнера.
| Реєстр | Пакет | Версія | Завантажень / міс | Версії | Остання публікація | Теги |
|---|---|---|---|---|---|---|
| PyPI | syntaxgymвказує на інший репозиторій — не оцінюється | 0.6.0 | 43 | 17 | 1753 дні тому | language-modelsnlpai |
Чи живий проєкт — чи пишеться код і чи виходять релізи?
Сама лише тиша ніколи не є підставою — невеликій завершеній бібліотеці коміти можуть бути не потрібні роками. Ця ознака вимагає двох умов водночас: тривалої відсутності людських комітів і зобов'язань, які проєкт очевидно не виконує. Автоматичні коміти супроводженням не вважаються.
Як оцінюється покинутість| 0/36 | Свіжість push — останній push 921 дн. тому |
| 0/36 | Ритм комітів — 0/52 тижнів із комітами |
| 0/18 | Обсяг комітів — 0 комітів за останній рік |
| 0/10 | OpenSSF Scorecard: Maintained — project is archived |
| commits_last_year | 0 |
| human_commit_share | 1 |
| days_since_last_push | 921 |
| active_weeks_last_year | 0 |
| 16.2/27 | Випускає релізи — 4 тегів версій (без релізів GitHub) |
| 0/36 | Свіжість релізів — останній реліз 1 975 дн. тому |
| 27/27 | Ритм релізів — реліз кожні ~14,3 дн. |
| 0/10 | OpenSSF Scorecard: Signed-Releases — немає даних |
| releases_count | 4 |
| latest_release_tag | 0.5.8 |
| releases_from_tags | так |
| days_since_latest_release | 1 975 |
| mean_days_between_releases | 14,3 |
Чи має проєкт користувачів, завантаження, увагу та влаштовані умови для контриб’юторів?
| 16.9/60 | Зірки — 12 зірок |
| 0/25 | Форки — 1 форків |
| 1.7/15 | Спостерігачі — 3 спостерігачів |
| forks | 1 |
| stars | 12 |
| watchers | 3 |
| growth_state | unverified |
| growth_factor_pct | 100 |
| growth_unverified_reason | no_history |
| 22.5/22.5 | README |
| 22.5/22.5 | Ліцензія — визнана ліцензія (MIT) |
| 0/18 | Настанови CONTRIBUTING |
| 0/13.5 | Кодекс поведінки |
| 0/7.2 | Шаблон issue |
| 0/6.3 | Шаблон PR |
| has_readme | так |
| has_license | так |
| readme_badges | 1 |
| has_contributing | ні |
| has_issue_template | ні |
| has_code_of_conduct | ні |
| readme_badge_services | shields.io |
| has_pull_request_template | ні |
Чи переживе проєкт своїх людей — бас-фактор, реактивність, хто за ним стоїть і як супроводжуються пакети?
| 9/54 | Бас-фактор — на 1 контриб’ютор(ів) припадає половина всіх комітів |
| 3.5/22.5 | Розподіл комітів — головний контриб’ютор — автор 85% комітів |
| 4.1/13.5 | Широта контриб’юторів — 3 контриб’юторів |
| 3/10 | OpenSSF Scorecard: Contributors — project has 1 contributing companies or organizations -- score normalized to 3 |
| bus_factor | 1 |
| contributors_sampled | 3 |
| top_contributor_share | 0,846 |
| 14/42 | Вирішення issue — закрито 33% issue |
| 12/30 | Прийняття PR — злито 2/5 вирішених PR |
| 0/13 | Newcomer PR acceptance — за 30 дн. не вирішено жодного PR від новачка |
| 0/15 | OpenSSF Scorecard: Code-Review — Found 0/22 approved changesets -- score normalized to 0 |
| merged_prs | 2 |
| open_issues | 4 |
| closed_issues | 2 |
| prs_merged_7d | 0 |
| prs_decided_7d | 0 |
| prs_merged_30d | 0 |
| prs_decided_30d | 0 |
| issue_closed_ratio | 0,333 |
| closed_unmerged_prs | 3 |
| first_time_authors_30d | 0 |
| first_time_prs_merged_30d | 0 |
| first_time_prs_decided_30d | 0 |
| 30/30 | Підтримка власника — у власності організації |
| 0/20 | Верифікований домен |
| 7.8/25 | Охоплення власника — 11 підписників у cpllab |
| 19.9/25 | Послужний список — 11 публічних репозиторіїв, вік облікового запису ~10 р. |
| followers | 11 |
| owner_type | Organization |
| is_verified | ні |
| owner_login | cpllab |
| public_repos | 11 |
| account_age_days | 3 978 |
Чи наявні базові інженерні практики та документація?
| 0/24 | Процеси CI |
| 24/24 | Наявні тести |
| 0/16 | Конфігурація лінтера |
| 0/9.6 | Pre-commit-хуки |
| 0/6.4 | .editorconfig |
| 0/20 | OpenSSF Scorecard: CI-Tests — 0 out of 1 merged PRs checked by a CI test -- score normalized to 0 |
| has_ci | ні |
| has_tests | так |
| has_editorconfig | ні |
| has_linter_config | ні |
| has_precommit_config | ні |
| 30/30 | README |
| 25/25 | Каталог документації |
| 0/15 | Сайт документації / домашня сторінка |
| 10/10 | Опис репозиторію |
| 0/10 | Теми |
| 0/10 | Wiki |
| topics | — |
| has_wiki | ні |
| homepage | — |
| docs_site | — |
| has_readme | так |
| has_docs_dir | так |
| has_description | так |
Чи міцні видимі практики безпеки й ланцюга постачання, без непослабленої пов’язаності з юрисдикціями високого ризику?
| 7.5/7.5 | Binary-Artifacts — no binaries found in the repo |
| 0/7.5 | Branch-Protection — branch protection not enabled on development/release branches |
| 0/2.5 | CI-Tests — 0 out of 1 merged PRs checked by a CI test -- score normalized to 0 |
| 0/2.5 | CII-Best-Practices — no effort to earn an OpenSSF best practices badge detected |
| 0/7.5 | Code-Review — Found 0/22 approved changesets -- score normalized to 0 |
| 0.8/2.5 | Contributors — project has 1 contributing companies or organizations -- score normalized to 3 |
| 0/10 | Dangerous-Workflow — немає даних |
| 0/7.5 | Dependency-Update-Tool — no update tool detected |
| 0/5 | Fuzzing — project is not fuzzed |
| 2.5/2.5 | Ліцензія — license file detected |
| 0/7.5 | Maintained — project is archived |
| 0/5 | Packaging — немає даних |
| 0/5 | Pinned-Dependencies — dependency not pinned by hash detected -- score normalized to 0 |
| 0/5 | SAST — SAST tool is not run on all commits -- score normalized to 0 |
| 0/5 | Security-Policy — security policy file not detected |
| 0/7.5 | Signed-Releases — немає даних |
| 0/7.5 | Token-Permissions — немає даних |
| 0/7.5 | Vulnerabilities — 49 existing vulnerabilities detected |
| source | openssf_scorecard |
| checks_evaluated | 14 |
| scorecard_version | v5.5.0 |
| checks_inconclusive | 4 |
| scorecard_aggregate | 1,4 |
| 35/35 | Прямі залежності без відомих сповіщень — жодна пряма залежність не має відомих сповіщень |
| 0/25 | Непрямі залежності без відомих сповіщень — транзитивний набір не відокремлюється від залежностей розробки й тестування в цьому обсязі |
| 0/40 | Немає задавнених сповіщень — жодне сповіщення не має дати публікації |
| source | osv |
| advisories | 86 |
| affected_packages | 15 |
| assessed_packages | 92 |
| unassessed_packages | 11 |
| affected_by_severity | critical 1, high 7, moderate 6, low 1 |
| direct_affected_packages | 0 |
Наскільки репозиторій оснащений для розробки та супроводу за участі ШІ-агентів? Має свідомо малу вагу (4%): агентний інструментарій — реальний сигнал супроводу, але репозиторій без нього все одно може отримати 100/100.
| 0/45 | Інструкції для агентів — немає CLAUDE.md / AGENTS.md / правил редактора |
| 15/15 | Машиночитана документація (llms.txt) — llms.txt опубліковано на сайті проєкту (https://docs.docker.com/llms.txt) |
| 4.3/40 | Читабельна історія комітів — намір зазначено у 8 з 100 людських комітів (структурований заголовок або пояснювальний текст) |
| has_llms_txt | так |
| llms_txt_url | https://docs.docker.com/llms.txt |
| legible_history_share | 0,08 |
| agent_instruction_files | — |
| agent_instruction_max_bytes | — |
| 18/18 | Розгортання однією командою — docs/Makefile |
| 22/22 | Автоматизовані тести |
| 0/11 | Конфігурація лінтера / форматера |
| 11/11 | Статична перевірка типів — mypy.ini |
| 10/10 | Відтворюване середовище — Dockerfile, lockfile |
| 0/10 | Підтверджена практика роботи з агентами — серед останніх 100 комітів немає створених агентом |
| 0/8 | Автоматизоване супроводження — автоматичних оновлень залежностей не виявлено |
| 0/10 | OpenSSF Scorecard: Pinned-Dependencies — dependency not pinned by hash detected -- score normalized to 0 |
| has_nix | ні |
| has_tests | так |
| lockfiles | Pipfile.lock |
| has_dockerfile | так |
| typed_language | ні |
| bootstrap_files | docs/Makefile |
| has_devcontainer | ні |
| has_linter_config | ні |
| typecheck_configs | mypy.ini |
| agent_commit_share | 0 |
| toolchain_manifests | — |
| dependency_bot_commit_share | 0 |
| 27/45 | Типізований код — Python з конфігурацією перевірки типів (mypy.ini) |
| 46.7/55 | Керовані розміри файлів — 5/33 файлів вихідного коду понад 60 КБ |
| primary_language | Python |
| largest_source_bytes | 287 630 |
| source_files_sampled | 33 |
| oversized_source_files | 5 |
Незалежна, не прив'язана до інструментів оцінка безпеки від відкритого проєкту OpenSSF Scorecard. Кожна перевірка винагороджує практику безпеки, а не інструмент конкретного постачальника. Перевірки, які Scorecard не зміг визначити, позначено н/д і виключено з оцінки безпеки (вони ніколи не зараховуються як нуль).
| 10 | Binary-Artifacts | no binaries found in the repo |
| 0 | Branch-Protection | branch protection not enabled on development/release branches |
| 0 | CI-Tests | 0 out of 1 merged PRs checked by a CI test -- score normalized to 0 |
| 0 | CII-Best-Practices | no effort to earn an OpenSSF best practices badge detected |
| 0 | Code-Review | Found 0/22 approved changesets -- score normalized to 0 |
| 3 | Contributors | project has 1 contributing companies or organizations -- score normalized to 3 |
| н/д | Dangerous-Workflow | no workflows found |
| 0 | Dependency-Update-Tool | no update tool detected |
| 0 | Fuzzing | project is not fuzzed |
| 10 | License | license file detected |
| 0 | Maintained | project is archived |
| н/д | Packaging | packaging workflow not detected |
| 0 | Pinned-Dependencies | dependency not pinned by hash detected -- score normalized to 0 |
| 0 | SAST | SAST tool is not run on all commits -- score normalized to 0 |
| 0 | Security-Policy | security policy file not detected |
| н/д | Signed-Releases | no releases found |
| н/д | Token-Permissions | No tokens found |
| 0 | Vulnerabilities | 49 existing vulnerabilities detected |
Повний розв'язаний набір залежностей із графа залежностей GitHub: 0 прямих і 103 непрямих (транзитивних) пакетів. Транзитивне замикання є повним, коли в репозиторії закомічено lockfile.
| Реєстр | Пакет | Версія | Зв'язок |
|---|---|---|---|
| PyPI | alabaster | 0.7.12 | непряма |
| PyPI | appdirs | 1.4.4 | непряма |
| PyPI | attrs | 21.2.0 | непряма |
| PyPI | babel | 2.9.1 | непряма |
| PyPI | black | 19.10b0 | непряма |
| PyPI | bleach | 4.1.0 | непряма |
| PyPI | cached-property | 1.5.2 | непряма |
| PyPI | cerberus | 1.3.4 | непряма |
| PyPI | certifi | 2020.12.5 | непряма |
| PyPI | cffi | 1.15.0 | непряма |
| PyPI | chardet | 4.0.0 | непряма |
| PyPI | charset-normalizer | 2.0.9 | непряма |
| PyPI | click | — | непряма |
| PyPI | click | 7.1.2 | непряма |
| PyPI | colorama | 0.4.4 | непряма |
| PyPI | coverage | 6.2 | непряма |
| PyPI | crayons | 0.4.0 | непряма |
| PyPI | cryptography | 36.0.1 | непряма |
| PyPI | decopatch | 1.4.8 | непряма |
| PyPI | distlib | 0.3.4 | непряма |
| PyPI | docker | — | непряма |
| PyPI | docker | 4.4.4 | непряма |
| PyPI | docutils | 0.17.1 | непряма |
| PyPI | h5py | — | непряма |
| PyPI | h5py | 3.2.1 | непряма |
| PyPI | idna | 2.10 | непряма |
| PyPI | imagesize | 1.3.0 | непряма |
| PyPI | importlib-metadata | 4.8.3 | непряма |
| PyPI | importlib-resources | 5.4.0 | непряма |
| PyPI | iniconfig | 1.1.1 | непряма |
| PyPI | jeepney | 0.7.1 | непряма |
| PyPI | jinja2 | 3.0.3 | непряма |
| PyPI | jsonpointer | 2.2 | непряма |
| PyPI | jsonschema | 4.3.0 | непряма |
| PyPI | keyring | 23.4.0 | непряма |
| PyPI | lm-zoo | — | непряма |
| PyPI | lm-zoo | 1.3 | непряма |
| PyPI | makefun | 1.12.1 | непряма |
| PyPI | markupsafe | 2.0.1 | непряма |
| PyPI | numpy | — | непряма |
| PyPI | numpy | 1.20.1 | непряма |
| PyPI | orderedmultidict | 1.0.1 | непряма |
| PyPI | packaging | 20.9 | непряма |
| PyPI | pandas | — | непряма |
| PyPI | pandas | 1.2.3 | непряма |
| PyPI | pathspec | 0.9.0 | непряма |
| PyPI | pep517 | 0.12.0 | непряма |
| PyPI | pip-shims | 0.6.0 | непряма |
| PyPI | pipenv-setup | 3.1.4 | непряма |
| PyPI | pipfile | 0.0.2 | непряма |
| PyPI | pkginfo | 1.8.2 | непряма |
| PyPI | platformdirs | 2.4.0 | непряма |
| PyPI | plette | 0.2.3 | непряма |
| PyPI | pluggy | 1.0.0 | непряма |
| PyPI | py | 1.11.0 | непряма |
| PyPI | pycparser | 2.21 | непряма |
| PyPI | pygments | 2.10.0 | непряма |
| PyPI | pyparsing | — | непряма |
| PyPI | pyparsing | 3.0.6 | непряма |
| PyPI | pyrsistent | 0.18.0 | непряма |
| PyPI | pytest | 6.2.5 | непряма |
| PyPI | pytest-cases | 3.6.5 | непряма |
| PyPI | python-dateutil | 2.8.1 | непряма |
| PyPI | pytz | 2021.1 | непряма |
| PyPI | pyyaml | 6.0 | непряма |
| PyPI | readme-renderer | 32.0 | непряма |
| PyPI | regex | 2021.11.10 | непряма |
| PyPI | requests | — | непряма |
| PyPI | requests | 2.25.1 | непряма |
| PyPI | requests-toolbelt | 0.9.1 | непряма |
| PyPI | requirementslib | 1.6.1 | непряма |
| PyPI | rfc3986 | 1.5.0 | непряма |
| PyPI | secretstorage | 3.3.1 | непряма |
| PyPI | semver | 2.13.0 | непряма |
| PyPI | six | 1.15.0 | непряма |
| PyPI | snowballstemmer | 2.2.0 | непряма |
| PyPI | sphinx | 4.3.1 | непряма |
| PyPI | sphinx-click | 3.0.2 | непряма |
| PyPI | sphinx-jsonschema | 1.17.1 | непряма |
| PyPI | sphinx-rtd-theme | 1.0.0 | непряма |
| PyPI | sphinxcontrib-applehelp | 1.0.2 | непряма |
| PyPI | sphinxcontrib-devhelp | 1.0.2 | непряма |
| PyPI | sphinxcontrib-htmlhelp | 2.0.0 | непряма |
| PyPI | sphinxcontrib-jsmath | 1.0.1 | непряма |
| PyPI | sphinxcontrib-qthelp | 1.0.3 | непряма |
| PyPI | sphinxcontrib-serializinghtml | 1.1.5 | непряма |
| PyPI | spython | — | непряма |
| PyPI | spython | 0.1.11 | непряма |
| PyPI | toml | 0.10.2 | непряма |
| PyPI | tomli | 2.0.0 | непряма |
| PyPI | tomlkit | 0.7.2 | непряма |
| PyPI | tqdm | — | непряма |
| PyPI | tqdm | 4.59.0 | непряма |
| PyPI | twine | 3.7.1 | непряма |
| PyPI | typed-ast | 1.5.1 | непряма |
| PyPI | typing-extensions | 4.0.1 | непряма |
| PyPI | urllib3 | — | непряма |
| PyPI | urllib3 | 1.26.7 | непряма |
| PyPI | vistir | 0.5.2 | непряма |
| PyPI | webencodings | 0.5.1 | непряма |
| PyPI | websocket-client | 0.58.0 | непряма |
| PyPI | wheel | 0.37.0 | непряма |
| PyPI | zipp | 3.6.0 | непряма |
Цей репозиторій не публікує пакета, який розпізнає індекс, тож оцінено його власний граф залежностей — 92 пакетів, серед яких є й піниї розробки та тестування, що ніколи не постачаються: 15 мають відомі сповіщення, з них 0 прямі. 11 не вдалося оцінити — немає резолвленої версії, непідтримувана екосистема або поза наведеним переліком пакетів.
| Пакет | Версія | Зв'язок | Критичність | Сповіщень | Виправлено в |
|---|---|---|---|---|---|
| black | 19.10b0 | непряма | критична | 4 | 26.3.1 |
| certifi | 2020.12.5 | непряма | висока | 5 | 2024.7.4 |
| click | 7.1.2 | непряма | висока | 1 | 8.3.3 |
| cryptography | 36.0.1 | непряма | висока | 22 | 300.0.12 |
| idna | 2.10 | непряма | висока | 4 | 3.15 |
| jinja2 | 3.0.3 | непряма | висока | 10 | 3.1.6 |
| urllib3 | 1.26.7 | непряма | висока | 16 | 2.7.0 |
| wheel | 0.37.0 | непряма | висока | 2 | 0.38.1 |
| bleach | 4.1.0 | непряма | помірна | 2 | 6.4.0 |
| numpy | 1.20.1 | непряма | помірна | 2 | 1.22 |
| pygments | 2.10.0 | непряма | помірна | 4 | 2.20.0 |
| pytest | 6.2.5 | непряма | помірна | 2 | 9.0.3 |
| requests | 2.25.1 | непряма | помірна | 8 | 2.33.0 |
| zipp | 3.6.0 | непряма | помірна | 2 | 3.19.1 |
| tqdm | 4.59.0 | непряма | низька | 2 | 4.66.3 |
Сповіщення означає, що версія, записана в графі залежностей, потрапляє в уражений діапазон. Досяжність не аналізується, а граф містить піниї розробки й тестування — знахідка може стосуватися інструментів, а не поставленого коду.
Помітили щось хибне у цьому звіті або маєте чим поділитися? Неправильні вимірювання, непомічені інструменти, ідеї, запитання — усе доречно. Кожне повідомлення читається й отримує відповідь.
Оцінки — це сигнали, а не гарантії. Вони відображають публічно видимі практики на GitHub — це не аудит коду й не гарантія безпеки.
Відсутні дані виключаються, а ваги перенормовуються — нуль за відсутність ніколи не ставиться. Методологія версіонована й відкрита: метрики v2.10.0, схема v0.34.0 — повна методологія · вікі метрик.
Як окремий результат виглядає на тлі всього реєстру: сукупна статистика — PyPI.