EleutherAI / lm-evaluation-harness
A framework for few-shot evaluation of language models.
EleutherAI/lm-evaluation-harness має індекс здоров’я 94 зі 100, що відповідає смузі «Винятковий». Найвищий показник — Engineering Quality (92/100), найнижчий — AI Readiness (57/100). Останнє оновлення — сьогодні. Більшість нещодавньої роботи виконують 3 учасники.
Індекс здоров'я програмного забезпечення
Метрики згруповано у зважені категорії на шкалі 1–100. Загальна оцінка починається як їхнє зважене середнє, відкаліброване за розподілом публічного реєстру, тож діапазони мають перцентильний зміст; коли публічні дані активують Політику юрисдикцій високого ризику, рейтинг коригується й отримує верхню межу 34 («У зоні ризику»).
Профіль оцінок
Кожна вісь — окрема категорія. Форма важить більше, ніж середнє: здоровий об'єкт заповнює всю фігуру, тоді як профіль із піками та провалами означає, що сила в одному вимірі маскує ризик в іншому.
Зважений загальний бал 81 калібровано до 94 за шкалою опублікованого індексу (калібрування реєстру 2026-08-02).
Власність
За цим репозиторієм стоїть організація — спільна, підзвітна опіка, здатна пережити будь-якого окремого мейнтейнера.
Пакетні екосистеми
| Реєстр | Пакет | Версія | Завантажень / міс | Версії | Остання публікація |
|---|---|---|---|---|---|
| PyPI | lm_eval | 0.4.12 | 1 779 487 | 18 | 108 днів тому |
Метрики за категоріями
Життєздатність
Чи живий проєкт — чи пишеться код і чи виходять релізи?
Активність розробки
Як обчислюється оцінка
| 36/36 | Свіжість push — останній push 0 дн. тому |
| 24.9/36 | Ритм комітів — 36/52 тижнів із комітами |
| 18/18 | Обсяг комітів — 247 комітів за останній рік |
| 10/10 | OpenSSF Scorecard: Maintained — 30 commit(s) and 1 issue activity found in the last 90 days -- score normalized to 10 |
Використані вхідні дані
| commits_last_year | 247 |
| human_commit_share | 1 |
| days_since_last_push | 0 |
| active_weeks_last_year | 36 |
Дисципліна релізів
Як обчислюється оцінка
| 27/27 | Випускає релізи — опубліковано 18 релізів |
| 27/36 | Свіжість релізів — останній реліз 108 дн. тому |
| 19.8/27 | Ритм релізів — реліз кожні ~64,4 дн. |
| 0/10 | OpenSSF Scorecard: Signed-Releases — немає даних |
Використані вхідні дані
| releases_count | 18 |
| latest_release_tag | v0.4.12 |
| releases_from_tags | ні |
| days_since_latest_release | 108 |
| mean_days_between_releases | 64,4 |
Спільнота та впровадження
Чи має проєкт користувачів, завантаження, увагу та влаштовані умови для контриб’юторів?
Популярність і впровадження
Як обчислюється оцінка
| 60/60 | Зірки — 13 814 зірок |
| 25/25 | Форки — 3 520 форків |
| 9.5/15 | Спостерігачі — 52 спостерігачів |
Використані вхідні дані
| forks | 3 520 |
| stars | 13 814 |
| watchers | 52 |
| growth_state | organic |
| growth_factor_pct | 100 |
Здоров'я спільноти
Як обчислюється оцінка
| 22.5/22.5 | README |
| 22.5/22.5 | Ліцензія — визнана ліцензія (MIT) |
| 18/18 | Настанови CONTRIBUTING |
| 0/13.5 | Кодекс поведінки |
| 0/7.2 | Шаблон issue |
| 0/6.3 | Шаблон PR |
Використані вхідні дані
| has_readme | так |
| has_license | так |
| readme_badges | 0 |
| has_contributing | так |
| has_issue_template | ні |
| has_code_of_conduct | ні |
| readme_badge_services | — |
| has_pull_request_template | ні |
Впровадження в екосистемі (завантаження)
Як обчислюється оцінка
| 80/80 | Щомісячні завантаження — 1 779 487 завантажень/місяць у pypi |
| 0/20 | Залежні пакети в реєстрі — ця екосистема цього не повідомляє |
Використані вхідні дані
| packages | lm_eval |
| dependents | — |
| ecosystems | pypi |
| total_downloads | — |
| monthly_downloads | 1 779 487 |
| unverified_packages_excluded | — |
Сталість та врядування
Чи переживе проєкт своїх людей — бас-фактор, реактивність, хто за ним стоїть і як супроводжуються пакети?
Як обчислюється оцінка
| 36/54 | Бас-фактор — на 3 контриб’ютор(ів) припадає половина всіх комітів |
| 16.7/22.5 | Розподіл комітів — головний контриб’ютор — автор 26% комітів |
| 13.5/13.5 | Широта контриб’юторів — 100 контриб’юторів |
| 10/10 | OpenSSF Scorecard: Contributors — project has 27 contributing companies or organizations |
Використані вхідні дані
| bus_factor | 3 |
| contributors_sampled | 100 |
| top_contributor_share | 0,257 |
Реактивність на issue та PR
Як обчислюється оцінка
| 27.5/42 | Вирішення issue — закрито 66% issue |
| 22.8/30 | Прийняття PR — злито 1 512/1 986 вирішених PR |
| 9.1/13 | Newcomer PR acceptance — злито 7/10 PR від новачків за 30 дн. |
| 13.5/15 | OpenSSF Scorecard: Code-Review — Found 27/30 approved changesets -- score normalized to 9 |
Використані вхідні дані
| merged_prs | 1 512 |
| open_issues | 581 |
| closed_issues | 1 104 |
| prs_merged_7d | 32 |
| prs_decided_7d | 40 |
| prs_merged_30d | 43 |
| prs_decided_30d | 53 |
| issue_closed_ratio | 0,655 |
| closed_unmerged_prs | 474 |
| first_time_authors_30d | 8 |
| first_time_prs_merged_30d | 7 |
| first_time_prs_decided_30d | 10 |
Власність та опіка
Як обчислюється оцінка
| 30/30 | Підтримка власника — у власності організації |
| 0/20 | Верифікований домен |
| 25/25 | Охоплення власника — 4 433 підписників у EleutherAI |
| 25/25 | Послужний список — 184 публічних репозиторіїв, вік облікового запису ~6 р. |
Використані вхідні дані
| followers | 4 433 |
| owner_type | Organization |
| is_verified | ні |
| owner_login | EleutherAI |
| public_repos | 184 |
| account_age_days | 2 221 |
Супровід пакетів
Як обчислюється оцінка
| 25/25 | Опубліковано й доступно — 1 пакет(ів) у pypi |
| 35/35 | Свіжість публікацій — остання публікація 108 дн. тому |
| 20/20 | Історія версій — 18 опублікованих версій |
| 20/20 | Не застарілий — активний, не deprecated і не yanked |
Використані вхідні дані
| packages | lm_eval |
| ecosystems | pypi |
| any_deprecated | ні |
| min_days_since_publish | 108 |
Інженерна якість
Чи наявні базові інженерні практики та документація?
Інженерні практики
Як обчислюється оцінка
| 24/24 | Процеси CI — 3 процес(ів) CI |
| 24/24 | Наявні тести |
| 16/16 | Конфігурація лінтера — pyproject.toml ([tool.ruff]) |
| 9.6/9.6 | Pre-commit-хуки |
| 0/6.4 | .editorconfig |
| 12/20 | OpenSSF Scorecard: CI-Tests — 20 out of 30 merged PRs checked by a CI test -- score normalized to 6 |
Використані вхідні дані
| has_ci | так |
| has_tests | так |
| has_editorconfig | ні |
| has_linter_config | так |
| has_precommit_config | так |
Документація
Як обчислюється оцінка
| 30/30 | README |
| 25/25 | Каталог документації |
| 15/15 | Сайт документації / домашня сторінка — https://www.eleuther.ai |
| 10/10 | Опис репозиторію |
| 10/10 | Теми — 3 тем |
| 10/10 | Wiki |
Використані вхідні дані
| topics | evaluation-framework, language-model, transformer |
| has_wiki | так |
| homepage | https://www.eleuther.ai |
| docs_site | https://www.eleuther.ai |
| has_readme | так |
| has_docs_dir | так |
| has_description | так |
Безпека
Чи міцні видимі практики безпеки й ланцюга постачання, без непослабленої пов’язаності з юрисдикціями високого ризику?
Стан безпеки
Як обчислюється оцінка
| 7.5/7.5 | Binary-Artifacts — no binaries found in the repo |
| 0/7.5 | Branch-Protection — немає даних |
| 1.5/2.5 | CI-Tests — 20 out of 30 merged PRs checked by a CI test -- score normalized to 6 |
| 0/2.5 | CII-Best-Practices — no effort to earn an OpenSSF best practices badge detected |
| 6.8/7.5 | Code-Review — Found 27/30 approved changesets -- score normalized to 9 |
| 2.5/2.5 | Contributors — project has 27 contributing companies or organizations |
| 10/10 | Dangerous-Workflow — no dangerous workflow patterns detected |
| 0/7.5 | Dependency-Update-Tool — no update tool detected |
| 0/5 | Fuzzing — project is not fuzzed |
| 2.5/2.5 | Ліцензія — license file detected |
| 7.5/7.5 | Maintained — 30 commit(s) and 1 issue activity found in the last 90 days -- score normalized to 10 |
| 5/5 | Packaging — packaging workflow detected |
| 0/5 | Pinned-Dependencies — dependency not pinned by hash detected -- score normalized to 0 |
| 0/5 | SAST — SAST tool is not run on all commits -- score normalized to 0 |
| 0/5 | Security-Policy — security policy file not detected |
| 0/7.5 | Signed-Releases — немає даних |
| 0/7.5 | Token-Permissions — detected GitHub workflow tokens with excessive permissions |
| 7.5/7.5 | Vulnerabilities — 0 existing vulnerabilities detected |
Використані вхідні дані
| source | openssf_scorecard |
| checks_evaluated | 16 |
| scorecard_version | v5.5.0 |
| checks_inconclusive | 2 |
| scorecard_aggregate | 5,6 |
Сповіщення про залежності
Як обчислюється оцінка
| 10.4/35 | Прямі залежності без відомих сповіщень — уражено 1: sqlitedict 2.1.0 (high 8.8) |
| 25/25 | Непрямі залежності без відомих сповіщень — жодна непряма залежність не має відомих сповіщень |
| 32.8/40 | Немає задавнених сповіщень — 1 пакет(ів) зі сповіщеннями без реакції понад 90 дн.; найдавніше опубліковано 708 дн. тому |
Використані вхідні дані
| source | osv |
| advisories | 2 |
| affected_packages | 1 |
| assessed_packages | 63 |
| unassessed_packages | 0 |
| affected_by_severity | high 1 |
| direct_affected_packages | 1 |
Готовність до ШІ
Наскільки репозиторій оснащений для розробки та супроводу за участі ШІ-агентів? Має свідомо малу вагу (4%): агентний інструментарій — реальний сигнал супроводу, але репозиторій без нього все одно може отримати 100/100.
Контекст і настанови для агентів
Як обчислюється оцінка
| 0/45 | Інструкції для агентів — немає CLAUDE.md / AGENTS.md / правил редактора |
| 15/15 | Машиночитана документація (llms.txt) — llms.txt опубліковано на сайті проєкту (https://docs.sglang.ai/llms.txt) |
| 40/40 | Читабельна історія комітів — намір зазначено у 97 з 100 людських комітів (структурований заголовок або пояснювальний текст) |
Використані вхідні дані
| has_llms_txt | так |
| llms_txt_url | https://docs.sglang.ai/llms.txt |
| legible_history_share | 0,97 |
| agent_instruction_files | — |
| agent_instruction_max_bytes | — |
Як обчислюється оцінка
| 0/18 | Розгортання однією командою |
| 22/22 | Автоматизовані тести |
| 11/11 | Конфігурація лінтера / форматера — pyproject.toml ([tool.ruff]) |
| 0/11 | Статична перевірка типів |
| 0/10 | Відтворюване середовище |
| 10/10 | Підтверджена практика роботи з агентами — 6 з останніх 100 комітів створено агентом або з його зазначенням |
| 0/8 | Автоматизоване супроводження — автоматичних оновлень залежностей не виявлено |
| 0/10 | OpenSSF Scorecard: Pinned-Dependencies — dependency not pinned by hash detected -- score normalized to 0 |
Використані вхідні дані
| has_nix | ні |
| has_tests | так |
| lockfiles | — |
| has_dockerfile | ні |
| typed_language | ні |
| bootstrap_files | — |
| has_devcontainer | ні |
| has_linter_config | так |
| typecheck_configs | — |
| agent_commit_share | 0,06 |
| toolchain_manifests | — |
| dependency_bot_commit_share | 0 |
Читабельність коду для моделей
Як обчислюється оцінка
| 0/45 | Типізований код — Python без конфігурації перевірки типів |
| 54.6/55 | Керовані розміри файлів — 6/812 файлів вихідного коду понад 60 КБ |
Використані вхідні дані
| primary_language | Python |
| largest_source_bytes | 88 709 |
| source_files_sampled | 812 |
| oversized_source_files | 6 |
Машиночитні інтерфейси
Як обчислюється оцінка
| 0/40 | Схема API (OpenAPI/GraphQL/proto) — не застосовно до цього типу програмного забезпечення |
| 0/20 | Сервер MCP — не застосовно до цього типу програмного забезпечення |
| 40/40 | Придатні до запуску приклади — examples, notebooks |
Використані вхідні дані
| example_dirs | examples, notebooks |
| has_mcp_signal | ні |
| api_schema_files | — |
| interfaces_expected_of | — |
Ключові факти
Попередження щодо збору даних
- Star history unavailable: GitHub GraphQL error: Resource not accessible by personal access token
- Star history carried forward from 2026-07-21: GitHub restricted the stargazers API to repository admins, so it can no longer be collected. The repository has 13814 stars today.
- First-time contributor figures cover 12 of 41 authors (cap 12)
- GitHub dependency-graph SBOM unavailable (404); the dependency graph may be disabled for this repository
Докладніше
Історія зірок і форків 13 346 ★ / 3 520 ⇿
Коли додано кожну зірку й форк — зібрано з GitHub і згруповано за днями. Кумулятивне зростання розміщено просто над денними додаваннями, з яких воно складається, тож їх видно одне проти одного: рівномірне органічне накопичення виглядає зовсім інакше, ніж різкий короткочасний сплеск. Там, де цю різницю можна виміряти, її подано як автентичність росту.
Показано лише найновішу історію — цей репозиторій перевищує вікно збору, тож найраніша історія не захоплена.
Історію зірок показано станом на 2026-07-21. У липні 2026 року GitHub обмежив доступ до API stargazers адміністраторами репозиторію, тож цей ряд більше не продовжується; загальна кількість зірок вище лишається актуальною.
Кожна точка охоплює 2 днів.
OpenSSF Scorecard 5.6 / 10
Незалежна, не прив'язана до інструментів оцінка безпеки від відкритого проєкту OpenSSF Scorecard. Кожна перевірка винагороджує практику безпеки, а не інструмент конкретного постачальника. Перевірки, які Scorecard не зміг визначити, позначено н/д і виключено з оцінки безпеки (вони ніколи не зараховуються як нуль).
| 10 | Binary-Artifacts | no binaries found in the repo |
| н/д | Branch-Protection | internal error: error during branchesHandler.setup: internal error: some github tokens can't read classic branch protection rules: https://github.com/ossf/scorecard-action/blob/main/docs/authentication/fine-grained-auth-token.md |
| 6 | CI-Tests | 20 out of 30 merged PRs checked by a CI test -- score normalized to 6 |
| 0 | CII-Best-Practices | no effort to earn an OpenSSF best practices badge detected |
| 9 | Code-Review | Found 27/30 approved changesets -- score normalized to 9 |
| 10 | Contributors | project has 27 contributing companies or organizations |
| 10 | Dangerous-Workflow | no dangerous workflow patterns detected |
| 0 | Dependency-Update-Tool | no update tool detected |
| 0 | Fuzzing | project is not fuzzed |
| 10 | License | license file detected |
| 10 | Maintained | 30 commit(s) and 1 issue activity found in the last 90 days -- score normalized to 10 |
| 10 | Packaging | packaging workflow detected |
| 0 | Pinned-Dependencies | dependency not pinned by hash detected -- score normalized to 0 |
| 0 | SAST | SAST tool is not run on all commits -- score normalized to 0 |
| 0 | Security-Policy | security policy file not detected |
| н/д | Signed-Releases | no releases found |
| 0 | Token-Permissions | detected GitHub workflow tokens with excessive permissions |
| 10 | Vulnerabilities | 0 existing vulnerabilities detected |
Прямі залежності 14
| Реєстр | Пакет | Обмеження версії | Маніфест |
|---|---|---|---|
| PyPI | datasets | >=2.16.0 | pyproject.toml |
| PyPI | numpy | — | pyproject.toml |
| PyPI | evaluate | >=0.4.0 | pyproject.toml |
| PyPI | jinja2 | — | pyproject.toml |
| PyPI | pytablewriter | — | pyproject.toml |
| PyPI | rouge-score | >=0.0.4 | pyproject.toml |
| PyPI | sacrebleu | >=1.5.0 | pyproject.toml |
| PyPI | scikit-learn | >=0.24.1 | pyproject.toml |
| PyPI | sqlitedict | — | pyproject.toml |
| PyPI | dill | — | pyproject.toml |
| PyPI | word2number | — | pyproject.toml |
| PyPI | more_itertools | — | pyproject.toml |
| PyPI | typing_extensions | — | pyproject.toml |
| PyPI | tqdm | >=4.59.0 | pyproject.toml |
Усі залежності не зібрано
Не вдалося зібрати розв'язаний набір залежностей для цього звіту: GitHub dependency-graph SBOM unavailable (404); the dependency graph may be disabled for this repository
Сповіщення про залежності 1
Встановлення pypi:lm_eval@0.4.12 тягне 63 пакетів, прямих і транзитивних: 1 мають відомі сповіщення, з них 1 — прямі залежності.
| Пакет | Версія | Зв'язок | Критичність | Сповіщень | Виправлено в |
|---|---|---|---|---|---|
| sqlitedict | 2.1.0 | пряма | висока | 2 | — |
Сповіщення означає, що версія, записана в графі залежностей, потрапляє в уражений діапазон. Досяжність не аналізується, а граф містить піниї розробки й тестування — знахідка може стосуватися інструментів, а не поставленого коду.
Звіт у форматі JSON машиночитний
Зворотний зв’язок
Помітили щось хибне у цьому звіті або маєте чим поділитися? Неправильні вимірювання, непомічені інструменти, ідеї, запитання — усе доречно. Кожне повідомлення читається й отримує відповідь.
Оцінки — це сигнали, а не гарантії. Вони відображають публічно видимі практики на GitHub — це не аудит коду й не гарантія безпеки.
Відсутні дані виключаються, а ваги перенормовуються — нуль за відсутність ніколи не ставиться. Методологія версіонована й відкрита: метрики v2.10.0, схема v0.34.0 — повна методологія · вікі метрик.
Як окремий результат виглядає на тлі всього реєстру: сукупна статистика — PyPI.