bytedance / xpu-perf
[HPCA 2026] AI Accelerator Benchmark focuses on evaluating AI Accelerators from a practical production perspective, including the ease of use and versatility of software and hardware.
bytedance/xpu-perf має індекс здоров’я 50 зі 100, що відповідає смузі «Помірний». Найвищий показник — Sustainability & Governance (69/100), найнижчий — Security (16/100). Останнє оновлення було 145 днів тому. Більшість нещодавньої роботи виконують 2 учасники.
Індекс здоров'я програмного забезпечення
Метрики згруповано у зважені категорії на шкалі 1–100. Загальна оцінка починається як їхнє зважене середнє, відкаліброване за розподілом публічного реєстру, тож діапазони мають перцентильний зміст; коли публічні дані активують Політику юрисдикцій високого ризику, рейтинг коригується й отримує верхню межу 34 («У зоні ризику»).
Профіль оцінок
Кожна вісь — окрема категорія. Форма важить більше, ніж середнє: здоровий об'єкт заповнює всю фігуру, тоді як профіль із піками та провалами означає, що сила в одному вимірі маскує ризик в іншому.
Зважений загальний бал 50 калібровано до 50 за шкалою опублікованого індексу (калібрування реєстру 2026-08-02).
Власність
За цим репозиторієм стоїть організація — спільна, підзвітна опіка, здатна пережити будь-якого окремого мейнтейнера.
Метрики за категоріями
Життєздатність
Чи живий проєкт — чи пишеться код і чи виходять релізи?
Активність розробки
Як обчислюється оцінка
| 9.9/36 | Свіжість push — останній push 145 дн. тому |
| 4.2/36 | Ритм комітів — 6/52 тижнів із комітами |
| 12.2/18 | Обсяг комітів — 22 комітів за останній рік |
| 0/10 | OpenSSF Scorecard: Maintained — немає даних |
Використані вхідні дані
| commits_last_year | 22 |
| human_commit_share | 1 |
| days_since_last_push | 145 |
| active_weeks_last_year | 6 |
Дисципліна релізів
Як обчислюється оцінка
| 27/27 | Випускає релізи — опубліковано 1 релізів |
| 0/36 | Свіжість релізів — останній реліз 749 дн. тому |
| 12.6/27 | Ритм релізів — ритм невідомий (єдиний реліз) |
| 0/10 | OpenSSF Scorecard: Signed-Releases — немає даних |
Використані вхідні дані
| releases_count | 1 |
| latest_release_tag | v1.0.0 |
| releases_from_tags | ні |
| days_since_latest_release | 749 |
| mean_days_between_releases | — |
Спільнота та впровадження
Чи має проєкт користувачів, завантаження, увагу та влаштовані умови для контриб’юторів?
Популярність і впровадження
Як обчислюється оцінка
| 41.9/60 | Зірки — 383 зірок |
| 17.6/25 | Форки — 130 форків |
| 5.8/15 | Спостерігачі — 12 спостерігачів |
Використані вхідні дані
| forks | 130 |
| stars | 383 |
| watchers | 12 |
| growth_state | unverified |
| growth_factor_pct | 100 |
| growth_unverified_reason | no_history |
Здоров'я спільноти
Як обчислюється оцінка
| 22.5/22.5 | README |
| 22.5/22.5 | Ліцензія — визнана ліцензія (Apache-2.0) |
| 18/18 | Настанови CONTRIBUTING |
| 0/13.5 | Кодекс поведінки |
| 0/7.2 | Шаблон issue |
| 0/6.3 | Шаблон PR |
Використані вхідні дані
| has_readme | так |
| has_license | так |
| readme_badges | 0 |
| has_contributing | так |
| has_issue_template | ні |
| has_code_of_conduct | ні |
| readme_badge_services | — |
| has_pull_request_template | ні |
Сталість та врядування
Чи переживе проєкт своїх людей — бас-фактор, реактивність, хто за ним стоїть і як супроводжуються пакети?
Стійкість мейнтейнерів (бас-фактор)
Як обчислюється оцінка
| 25.2/54 | Бас-фактор — на 2 контриб’ютор(ів) припадає половина всіх комітів |
| 13.9/22.5 | Розподіл комітів — головний контриб’ютор — автор 38% комітів |
| 13.5/13.5 | Широта контриб’юторів — 15 контриб’юторів |
| 0/10 | OpenSSF Scorecard: Contributors — немає даних |
Використані вхідні дані
| bus_factor | 2 |
| contributors_sampled | 15 |
| top_contributor_share | 0,382 |
Реактивність на issue та PR
Як обчислюється оцінка
| 27.8/42 | Вирішення issue — закрито 66% issue |
| 23.4/30 | Прийняття PR — злито 88/113 вирішених PR |
| 0/13 | Newcomer PR acceptance — за 30 дн. не вирішено жодного PR від новачка |
| 0/15 | OpenSSF Scorecard: Code-Review — немає даних |
Використані вхідні дані
| merged_prs | 88 |
| open_issues | 26 |
| closed_issues | 51 |
| prs_merged_7d | 0 |
| prs_decided_7d | 0 |
| prs_merged_30d | 0 |
| prs_decided_30d | 0 |
| issue_closed_ratio | 0,662 |
| closed_unmerged_prs | 25 |
| first_time_authors_30d | 0 |
| first_time_prs_merged_30d | 0 |
| first_time_prs_decided_30d | 0 |
Власність та опіка
Як обчислюється оцінка
| 30/30 | Підтримка власника — у власності організації |
| 0/20 | Верифікований домен |
| 25/25 | Охоплення власника — 19 001 підписників у bytedance |
| 25/25 | Послужний список — 418 публічних репозиторіїв, вік облікового запису ~13 р. |
Використані вхідні дані
| followers | 19 001 |
| owner_type | Organization |
| is_verified | ні |
| owner_login | bytedance |
| public_repos | 418 |
| account_age_days | 4 900 |
Інженерна якість
Чи наявні базові інженерні практики та документація?
Інженерні практики
Як обчислюється оцінка
| 0/24 | Процеси CI |
| 24/24 | Наявні тести |
| 16/16 | Конфігурація лінтера — .flake8, .pylintrc |
| 0/9.6 | Pre-commit-хуки |
| 0/6.4 | .editorconfig |
| 0/20 | OpenSSF Scorecard: CI-Tests — немає даних |
Використані вхідні дані
| has_ci | ні |
| has_tests | так |
| has_editorconfig | ні |
| has_linter_config | так |
| has_precommit_config | ні |
Документація
Як обчислюється оцінка
| 30/30 | README |
| 0/25 | Каталог документації |
| 15/15 | Сайт документації / домашня сторінка — https://xpu-perf.ai/ |
| 10/10 | Опис репозиторію |
| 10/10 | Теми — 1 тем |
| 0/10 | Wiki |
Використані вхідні дані
| topics | python |
| has_wiki | ні |
| homepage | https://xpu-perf.ai/ |
| docs_site | https://xpu-perf.ai/ |
| has_readme | так |
| has_docs_dir | ні |
| has_description | так |
Безпека
Чи міцні видимі практики безпеки й ланцюга постачання, без непослабленої пов’язаності з юрисдикціями високого ризику?
Стан безпеки
Як обчислюється оцінка
| 0/30 | Політика безпеки (SECURITY.md) |
| 0/25 | Конфігурація Dependabot |
| 0/25 | Файли фіксації залежностей |
| 0/20 | Процес CodeQL |
Використані вхідні дані
| source | file_signals |
| lockfiles | — |
| manifests | pyproject.toml |
| has_codeql_workflow | ні |
| has_security_policy | ні |
| has_dependabot_config | ні |
Сповіщення про залежності
Як обчислюється оцінка
| 20.2/35 | Прямі залежності без відомих сповіщень — уражено 1: numpy 1.19.2 (moderate 5.3) |
| 0/25 | Непрямі залежності без відомих сповіщень — транзитивний набір не відокремлюється від залежностей розробки й тестування в цьому обсязі |
| 35.3/40 | Немає задавнених сповіщень — 1 пакет(ів) зі сповіщеннями без реакції понад 90 дн.; найдавніше опубліковано 1 731 дн. тому |
Використані вхідні дані
| source | osv |
| advisories | 1 859 |
| affected_packages | 18 |
| assessed_packages | 38 |
| unassessed_packages | 52 |
| affected_by_severity | critical 12, high 5, moderate 1 |
| direct_affected_packages | 1 |
Готовність до ШІ
Наскільки репозиторій оснащений для розробки та супроводу за участі ШІ-агентів? Має свідомо малу вагу (4%): агентний інструментарій — реальний сигнал супроводу, але репозиторій без нього все одно може отримати 100/100.
Контекст і настанови для агентів
Як обчислюється оцінка
| 0/45 | Інструкції для агентів — немає CLAUDE.md / AGENTS.md / правил редактора |
| 0/15 | Машиночитана документація (llms.txt) |
| 19.7/40 | Читабельна історія комітів — намір зазначено у 37 з 100 людських комітів (структурований заголовок або пояснювальний текст) |
Використані вхідні дані
| has_llms_txt | ні |
| llms_txt_url | — |
| legible_history_share | 0,37 |
| agent_instruction_files | — |
| agent_instruction_max_bytes | — |
Як обчислюється оцінка
| 18/18 | Розгортання однією командою — projects/train_perf/Megatron-LM/megatron/core/datasets/Makefile |
| 22/22 | Автоматизовані тести |
| 11/11 | Конфігурація лінтера / форматера — .flake8, .pylintrc |
| 11/11 | Статична перевірка типів — projects/train_perf/Megatron-LM/mypy.ini |
| 10/10 | Відтворюване середовище — Dockerfile |
| 0/10 | Підтверджена практика роботи з агентами — серед останніх 100 комітів немає створених агентом |
| 0/8 | Автоматизоване супроводження — автоматичних оновлень залежностей не виявлено |
| 0/10 | OpenSSF Scorecard: Pinned-Dependencies — немає даних |
Використані вхідні дані
| has_nix | ні |
| has_tests | так |
| lockfiles | — |
| has_dockerfile | так |
| typed_language | ні |
| bootstrap_files | projects/train_perf/Megatron-LM/megatron/core/datasets/Makefile |
| has_devcontainer | ні |
| has_linter_config | так |
| typecheck_configs | projects/train_perf/Megatron-LM/mypy.ini |
| agent_commit_share | 0 |
| toolchain_manifests | — |
| dependency_bot_commit_share | 0 |
Читабельність коду для моделей
Як обчислюється оцінка
| 27/45 | Типізований код — Python з конфігурацією перевірки типів (projects/train_perf/Megatron-LM/mypy.ini) |
| 54.4/55 | Керовані розміри файлів — 8/757 файлів вихідного коду понад 60 КБ |
Використані вхідні дані
| primary_language | Python |
| largest_source_bytes | 132 791 |
| source_files_sampled | 757 |
| oversized_source_files | 8 |
Машиночитні інтерфейси
Як обчислюється оцінка
| 40/40 | Схема API (OpenAPI/GraphQL/proto) — projects/infer_perf/llm_perf/server/server.proto |
| 0/20 | Сервер MCP |
| 40/40 | Придатні до запуску приклади — examples, recipes |
Використані вхідні дані
| example_dirs | examples, recipes |
| has_mcp_signal | ні |
| api_schema_files | projects/infer_perf/llm_perf/server/server.proto |
| interfaces_expected_of | network-service |
Ключові факти
Попередження щодо збору даних
- Star history unavailable: GitHub GraphQL error: Resource not accessible by personal access token
- Could not fetch pypi package 'xpu-perf' from its registry
- Advisory severity resolved for 120 of 573 advisories (lookup cap); the remainder are reported as unknown severity
- OpenSSF Scorecard did not return a usable result (killed by SIGKILL — most likely the container's memory limit; 2026/09/14 18:46:43 Warning: PATs stored in env variables GITHUB_AUTH_TOKEN and GITHUB_TOKEN differ. Scorecard will use the former.); skipping Scorecard checks
Докладніше
Історія зірок і форків 0 ★ / 130 ⇿
Коли додано кожну зірку й форк — зібрано з GitHub і згруповано за днями. Кумулятивне зростання розміщено просто над денними додаваннями, з яких воно складається, тож їх видно одне проти одного: рівномірне органічне накопичення виглядає зовсім інакше, ніж різкий короткочасний сплеск. Там, де цю різницю можна виміряти, її подано як автентичність росту.
Кожна точка охоплює 4 днів.
Прямі залежності 5
| Реєстр | Пакет | Обмеження версії | Маніфест |
|---|---|---|---|
| PyPI | prettytable | — | pyproject.toml |
| PyPI | jsonlines | — | pyproject.toml |
| PyPI | flask | — | pyproject.toml |
| PyPI | requests | — | pyproject.toml |
| PyPI | numpy | <=1.26.4 | pyproject.toml |
Усі залежності 90
Повний розв'язаний набір залежностей із графа залежностей GitHub: 8 прямих і 82 непрямих (транзитивних) пакетів. Транзитивне замикання є повним, коли в репозиторії закомічено lockfile.
| Реєстр | Пакет | Версія | Зв'язок |
|---|---|---|---|
| PyPI | flask | — | пряма |
| PyPI | jsonlines | — | пряма |
| PyPI | numpy | — | пряма |
| PyPI | numpy | 1.19.2 | пряма |
| PyPI | numpy | 1.23.0 | пряма |
| PyPI | numpy | 1.23.4 | пряма |
| PyPI | prettytable | — | пряма |
| PyPI | requests | — | пряма |
| PyPI | accelerate | — | непряма |
| PyPI | attrs | 21.2.0 | непряма |
| PyPI | backoff | — | непряма |
| PyPI | bert | — | непряма |
| PyPI | bert-tensorflow | 1.0.1 | непряма |
| PyPI | black | 23.1.0 | непряма |
| PyPI | decorator | — | непряма |
| PyPI | einops | — | непряма |
| PyPI | flask-restful | — | непряма |
| PyPI | fpdf | — | непряма |
| PyPI | google-api-python-client | — | непряма |
| PyPI | google-cloud-core | 2.3.2 | непряма |
| PyPI | graphviz | 0.8.4 | непряма |
| PyPI | grpcio | — | непряма |
| PyPI | isort | — | непряма |
| PyPI | keras2onnx | — | непряма |
| PyPI | matplotlib | — | непряма |
| PyPI | matplotlib | 3.3.4 | непряма |
| PyPI | matplotlib | 3.4.2 | непряма |
| PyPI | multipledispatch | — | непряма |
| PyPI | mypy-protobuf | 2.8 | непряма |
| PyPI | nltk | — | непряма |
| PyPI | nvidia-modelopt | — | непряма |
| PyPI | onnx | — | непряма |
| PyPI | onnx | 1.12.0 | непряма |
| PyPI | onnx | 1.13.1 | непряма |
| PyPI | onnxconverter-common | 1.12.2 | непряма |
| PyPI | onnxruntime | — | непряма |
| PyPI | onnxruntime | 1.12.0 | непряма |
| PyPI | opencv-python | — | непряма |
| PyPI | opencv-python-headless | — | непряма |
| PyPI | packaging | — | непряма |
| PyPI | pandas | — | непряма |
| PyPI | pandas | 1.3.3 | непряма |
| PyPI | pandas | 1.5.1 | непряма |
| PyPI | prompt-toolkit | — | непряма |
| PyPI | protobuf | — | непряма |
| PyPI | protobuf | 3.19.4 | непряма |
| PyPI | protobuf | 3.19.6 | непряма |
| PyPI | protobuf | 3.20.2 | непряма |
| PyPI | psutil | — | непряма |
| PyPI | pulp | — | непряма |
| PyPI | pybind11 | — | непряма |
| PyPI | pydot | — | непряма |
| PyPI | pytest | — | непряма |
| PyPI | pytest-cov | — | непряма |
| PyPI | pytest-mock | — | непряма |
| PyPI | pytest-random-order | — | непряма |
| PyPI | pyyaml | — | непряма |
| PyPI | scikit-learn | — | непряма |
| PyPI | scipy | — | непряма |
| PyPI | sentencepiece | — | непряма |
| PyPI | sentencepiece | 0.1.96 | непряма |
| PyPI | setuptools | 67.5 | непряма |
| PyPI | synr | 0.4 | непряма |
| PyPI | tensorflow | — | непряма |
| PyPI | tensorflow | 1.15.0 | непряма |
| PyPI | tensorflow | 2.4.0 | непряма |
| PyPI | tensorflow | 2.7.2 | непряма |
| PyPI | tensorflow | 2.8.4 | непряма |
| PyPI | tensorflow-datasets | 4.7.0 | непряма |
| PyPI | tensorstore | — | непряма |
| PyPI | tf2onnx | — | непряма |
| PyPI | tiktoken | — | непряма |
| PyPI | tokenization | — | непряма |
| PyPI | torch | — | непряма |
| PyPI | torch | 1.12.1 | непряма |
| PyPI | torch | 1.13.1 | непряма |
| PyPI | torch | 1.9.1 | непряма |
| PyPI | torchvision | — | непряма |
| PyPI | torchvision | 0.10.1 | непряма |
| PyPI | torchvision | 0.13.1 | непряма |
| PyPI | tqdm | — | непряма |
| PyPI | transformers | — | непряма |
| PyPI | transformers | 4.40.0 | непряма |
| PyPI | triton | 2.1.0 | непряма |
| PyPI | typing-extensions | 3.7.4.3 | непряма |
| PyPI | virtualenv | 16.7.9 | непряма |
| PyPI | wandb | — | непряма |
| PyPI | wrapt | — | непряма |
| PyPI | wrapt | 1.14.1 | непряма |
| PyPI | zarr | — | непряма |
Сповіщення про залежності 18
Цей репозиторій не публікує пакета, який розпізнає індекс, тож оцінено його власний граф залежностей — 38 пакетів, серед яких є й піниї розробки та тестування, що ніколи не постачаються: 18 мають відомі сповіщення, з них 1 прямі. 52 не вдалося оцінити — немає резолвленої версії, непідтримувана екосистема або поза наведеним переліком пакетів.
| Пакет | Версія | Зв'язок | Критичність | Сповіщень | Виправлено в |
|---|---|---|---|---|---|
| black | 23.1.0 | непряма | критична | 4 | 26.3.1 |
| onnx | 1.12.0 | непряма | критична | 26 | 1.22.0 |
| onnx | 1.13.1 | непряма | критична | 24 | 1.22.0 |
| tensorflow | 1.15.0 | непряма | критична | 745 | 2.12.1 |
| tensorflow | 2.4.0 | непряма | критична | 760 | 2.12.1 |
| tensorflow | 2.7.2 | непряма | критична | 94 | 2.12.1 |
| tensorflow | 2.8.4 | непряма | критична | 46 | 2.12.1 |
| torch | 1.12.1 | непряма | критична | 30 | 2.13.0 |
| torch | 1.13.1 | непряма | критична | 28 | 2.13.0 |
| torch | 1.9.1 | непряма | критична | 30 | 2.13.0 |
| transformers | 4.40.0 | непряма | критична | 44 | 5.10.0 |
| virtualenv | 16.7.9 | непряма | критична | 4 | 20.36.1 |
| protobuf | 3.19.4 | непряма | висока | 6 | 6.33.5 |
| protobuf | 3.19.6 | непряма | висока | 4 | 6.33.5 |
| protobuf | 3.20.2 | непряма | висока | 4 | 6.33.5 |
| sentencepiece | 0.1.96 | непряма | висока | 2 | 0.2.1 |
| setuptools | 67.5 | непряма | висока | 6 | 83.0.0 |
| numpy | 1.19.2 | пряма | помірна | 2 | 1.22 |
Сповіщення означає, що версія, записана в графі залежностей, потрапляє в уражений діапазон. Досяжність не аналізується, а граф містить піниї розробки й тестування — знахідка може стосуватися інструментів, а не поставленого коду.
Звіт у форматі JSON машиночитний
Зворотний зв’язок
Помітили щось хибне у цьому звіті або маєте чим поділитися? Неправильні вимірювання, непомічені інструменти, ідеї, запитання — усе доречно. Кожне повідомлення читається й отримує відповідь.
Оцінки — це сигнали, а не гарантії. Вони відображають публічно видимі практики на GitHub — це не аудит коду й не гарантія безпеки.
Відсутні дані виключаються, а ваги перенормовуються — нуль за відсутність ніколи не ставиться. Методологія версіонована й відкрита: метрики v2.10.0, схема v0.34.0 — повна методологія · вікі метрик.
Як окремий результат виглядає на тлі всього реєстру: сукупна статистика.