bytedance / xpu-perf
[HPCA 2026] AI Accelerator Benchmark focuses on evaluating AI Accelerators from a practical production perspective, including the ease of use and versatility of software and hardware.
bytedance/xpu-perf erreicht einen Gesundheitsindex von 50 von 100 und liegt damit im Bereich Mittel. Am stärksten schneidet es bei Sustainability & Governance (69/100) ab, am schwächsten bei Security (16/100). Zuletzt vor 145 Tagen aktualisiert. 2 Mitwirkende tragen den Großteil der jüngsten Arbeit.
Software-Gesundheitsindex
Metriken werden auf einer standardisierten Skala von 1–100 in gewichtete Kategorien gruppiert. Der Gesamtwert beginnt als ihr gewichtetes Mittel, kalibriert auf die Verteilung des öffentlichen Registers, sodass die Stufen Perzentilbedeutung tragen; sobald öffentliche Evidenz die Richtlinie für Hochrisikojurisdiktionen auslöst, wird die Bewertung angepasst und erhält die Obergrenze Gefährdet von 34.
Bewertungsprofil
Jede Achse ist eine Kategorie. Die Form zählt mehr als der Durchschnitt — ein gesundes Projekt füllt die gesamte Fläche, während ein Profil aus Spitzen und Kratern bedeutet, dass Stärke in einer Dimension Risiken in einer anderen verdeckt.
Der gewichtete Gesamtwert 50 wird auf der veröffentlichten Indexskala auf 50 kalibriert (Register-Kalibrierung 2026-08-02).
Eigentümerschaft
Dieses Repository wird von einer Organisation getragen — geteilte, rechenschaftspflichtige Trägerschaft, die jeden einzelnen Maintainer überdauern kann.
Metriken nach Kategorie
Vitalität
Lebt das Projekt — wird Code geschrieben und werden Releases ausgeliefert?
Entwicklungsaktivität
Wie die Bewertung erfolgt
| 9.9/36 | Push-Aktualität — letzter Push vor 145 Tagen |
| 4.2/36 | Commit-Rhythmus — 6/52 Wochen mit Commits |
| 12.2/18 | Commit-Volumen — 22 Commits im letzten Jahr |
| 0/10 | OpenSSF Scorecard: Maintained — keine Daten |
Verwendete Eingangsdaten
| commits_last_year | 22 |
| human_commit_share | 1 |
| days_since_last_push | 145 |
| active_weeks_last_year | 6 |
Release-Disziplin
Wie die Bewertung erfolgt
| 27/27 | Liefert Releases aus — 1 Releases veröffentlicht |
| 0/36 | Release-Aktualität — letztes Release vor 749 Tagen |
| 12.6/27 | Release-Rhythmus — Rhythmus unbekannt (nur ein Release) |
| 0/10 | OpenSSF Scorecard: Signed-Releases — keine Daten |
Verwendete Eingangsdaten
| releases_count | 1 |
| latest_release_tag | v1.0.0 |
| releases_from_tags | nein |
| days_since_latest_release | 749 |
| mean_days_between_releases | — |
Community & Verbreitung
Hat das Projekt Nutzer, Downloads, Aufmerksamkeit und ein einladendes Umfeld für Beitragende?
Wie die Bewertung erfolgt
| 41.9/60 | Stars — 383 Stars |
| 17.6/25 | Forks — 130 Forks |
| 5.8/15 | Watcher — 12 Watcher |
Verwendete Eingangsdaten
| forks | 130 |
| stars | 383 |
| watchers | 12 |
| growth_state | unverified |
| growth_factor_pct | 100 |
| growth_unverified_reason | no_history |
Community-Gesundheit
Wie die Bewertung erfolgt
| 22.5/22.5 | README |
| 22.5/22.5 | Lizenz — anerkannte Lizenz (Apache-2.0) |
| 18/18 | CONTRIBUTING-Leitfaden |
| 0/13.5 | Verhaltenskodex |
| 0/7.2 | Issue-Vorlage |
| 0/6.3 | PR-Vorlage |
Verwendete Eingangsdaten
| has_readme | ja |
| has_license | ja |
| readme_badges | 0 |
| has_contributing | ja |
| has_issue_template | nein |
| has_code_of_conduct | nein |
| readme_badge_services | — |
| has_pull_request_template | nein |
Nachhaltigkeit & Governance
Überdauert das Projekt die Menschen, die es tragen — Bus-Faktor, Reaktionsfähigkeit, Trägerschaft und Paketpflege?
Wie die Bewertung erfolgt
| 25.2/54 | Bus-Faktor — 2 Beitragende decken die Hälfte aller Commits ab |
| 13.9/22.5 | Commit-Verteilung — wichtigste beitragende Person verfasste 38 % der Commits |
| 13.5/13.5 | Breite der Beitragenden — 15 Beitragende |
| 0/10 | OpenSSF Scorecard: Contributors — keine Daten |
Verwendete Eingangsdaten
| bus_factor | 2 |
| contributors_sampled | 15 |
| top_contributor_share | 0,382 |
Wie die Bewertung erfolgt
| 27.8/42 | Issue-Lösungsquote — 66 % der Issues geschlossen |
| 23.4/30 | PR-Annahme — 88/113 entschiedene PRs gemergt |
| 0/13 | Newcomer PR acceptance — kein PR eines Erstbeitragenden in 30 Tagen entschieden |
| 0/15 | OpenSSF Scorecard: Code-Review — keine Daten |
Verwendete Eingangsdaten
| merged_prs | 88 |
| open_issues | 26 |
| closed_issues | 51 |
| prs_merged_7d | 0 |
| prs_decided_7d | 0 |
| prs_merged_30d | 0 |
| prs_decided_30d | 0 |
| issue_closed_ratio | 0,662 |
| closed_unmerged_prs | 25 |
| first_time_authors_30d | 0 |
| first_time_prs_merged_30d | 0 |
| first_time_prs_decided_30d | 0 |
Eigentümerschaft & Trägerschaft
Wie die Bewertung erfolgt
| 30/30 | Organisatorische Trägerschaft — im Besitz einer Organisation |
| 0/20 | Verifizierte Domain |
| 25/25 | Reichweite des Inhabers — 19.001 Follower von bytedance |
| 25/25 | Kontohistorie — 418 öffentliche Repos, Kontoalter ca. 13 Jahre |
Verwendete Eingangsdaten
| followers | 19.001 |
| owner_type | Organization |
| is_verified | nein |
| owner_login | bytedance |
| public_repos | 418 |
| account_age_days | 4.900 |
Engineering-Qualität
Sind grundlegende Engineering- und Dokumentationspraktiken vorhanden?
Engineering-Praktiken
Wie die Bewertung erfolgt
| 0/24 | CI-Workflows |
| 24/24 | Tests vorhanden |
| 16/16 | Linter-Konfiguration — .flake8, .pylintrc |
| 0/9.6 | Pre-Commit-Hooks |
| 0/6.4 | .editorconfig |
| 0/20 | OpenSSF Scorecard: CI-Tests — keine Daten |
Verwendete Eingangsdaten
| has_ci | nein |
| has_tests | ja |
| has_editorconfig | nein |
| has_linter_config | ja |
| has_precommit_config | nein |
Dokumentation
Wie die Bewertung erfolgt
| 30/30 | README |
| 0/25 | Dokumentationsverzeichnis |
| 15/15 | Dokumentations-/Homepage-Site — https://xpu-perf.ai/ |
| 10/10 | Repository-Beschreibung |
| 10/10 | Topics — 1 Topics |
| 0/10 | Wiki |
Verwendete Eingangsdaten
| topics | python |
| has_wiki | nein |
| homepage | https://xpu-perf.ai/ |
| docs_site | https://xpu-perf.ai/ |
| has_readme | ja |
| has_docs_dir | nein |
| has_description | ja |
Sicherheit
Sind die sichtbaren Sicherheits- und Lieferkettenpraktiken belastbar, ohne ungeklärte Exposition gegenüber Hochrisikojurisdiktionen?
Sicherheitslage
Wie die Bewertung erfolgt
| 0/30 | Sicherheitsrichtlinie (SECURITY.md) |
| 0/25 | Dependabot-Konfiguration |
| 0/25 | Lockfiles für Abhängigkeiten |
| 0/20 | CodeQL-Workflow |
Verwendete Eingangsdaten
| source | file_signals |
| lockfiles | — |
| manifests | pyproject.toml |
| has_codeql_workflow | nein |
| has_security_policy | nein |
| has_dependabot_config | nein |
Wie die Bewertung erfolgt
| 20.2/35 | Direkte Abhängigkeiten ohne bekannte Advisories — 1 betroffen: numpy 1.19.2 (moderate 5.3) |
| 0/25 | Indirekte Abhängigkeiten ohne bekannte Advisories — transitive Menge in diesem Bereich nicht von Entwicklungs- und Test-Abhängigkeiten trennbar |
| 35.3/40 | Keine offenen Advisories — 1 Paket(e) mit Advisory seit über 90 Tagen unbehandelt; ältestes vor 1.731 Tagen veröffentlicht |
Verwendete Eingangsdaten
| source | osv |
| advisories | 1.859 |
| affected_packages | 18 |
| assessed_packages | 38 |
| unassessed_packages | 52 |
| affected_by_severity | critical 12, high 5, moderate 1 |
| direct_affected_packages | 1 |
AI Readiness
Wie gut ist das Repository dafür ausgestattet, mit KI-Coding-Agenten entwickelt und gepflegt zu werden? Trägt ein bewusst kleines Gewicht (4 %): Agenten-Tooling ist ein echtes Pflegesignal, doch ein Repository ohne jedes Signal kann weiterhin 100/100 erreichen.
AI-Agentenkontext & Leitlinien
Wie die Bewertung erfolgt
| 0/45 | Agentenanweisungen — keine CLAUDE.md / AGENTS.md / Editor-Regeln |
| 0/15 | Maschinenlesbare Doku (llms.txt) |
| 19.7/40 | Lesbare Commit-Historie — 37 von 100 menschlichen Commits benennen ihre Absicht (strukturierter Betreff oder erläuternder Text) |
Verwendete Eingangsdaten
| has_llms_txt | nein |
| llms_txt_url | — |
| legible_history_share | 0,37 |
| agent_instruction_files | — |
| agent_instruction_max_bytes | — |
AI-Verify-Loop (Build / Test / Typprüfung)
Wie die Bewertung erfolgt
| 18/18 | Bootstrap mit einem Befehl — projects/train_perf/Megatron-LM/megatron/core/datasets/Makefile |
| 22/22 | Automatisierte Tests |
| 11/11 | Lint-/Format-Konfiguration — .flake8, .pylintrc |
| 11/11 | Statische Typprüfung — projects/train_perf/Megatron-LM/mypy.ini |
| 10/10 | Reproduzierbare Umgebung — Dockerfile |
| 0/10 | Belegte Agentenpraxis — keine von Agenten verfassten Commits unter den letzten 100 |
| 0/8 | Automatisierte Wartung — keine automatisierten Abhängigkeits-Updates beobachtet |
| 0/10 | OpenSSF Scorecard: Pinned-Dependencies — keine Daten |
Verwendete Eingangsdaten
| has_nix | nein |
| has_tests | ja |
| lockfiles | — |
| has_dockerfile | ja |
| typed_language | nein |
| bootstrap_files | projects/train_perf/Megatron-LM/megatron/core/datasets/Makefile |
| has_devcontainer | nein |
| has_linter_config | ja |
| typecheck_configs | projects/train_perf/Megatron-LM/mypy.ini |
| agent_commit_share | 0 |
| toolchain_manifests | — |
| dependency_bot_commit_share | 0 |
AI-Code-Lesbarkeit für Modelle
Wie die Bewertung erfolgt
| 27/45 | Typprüfbarer Code — Python mit Typprüfungs-Konfiguration (projects/train_perf/Megatron-LM/mypy.ini) |
| 54.4/55 | Handhabbare Dateigrößen — 8/757 Quelldateien über 60 KB |
Verwendete Eingangsdaten
| primary_language | Python |
| largest_source_bytes | 132.791 |
| source_files_sampled | 757 |
| oversized_source_files | 8 |
Maschinenlesbare AI-Schnittstellen
Wie die Bewertung erfolgt
| 40/40 | API-Schema (OpenAPI/GraphQL/proto) — projects/infer_perf/llm_perf/server/server.proto |
| 0/20 | MCP-Server |
| 40/40 | Lauffähige Beispiele — examples, recipes |
Verwendete Eingangsdaten
| example_dirs | examples, recipes |
| has_mcp_signal | nein |
| api_schema_files | projects/infer_perf/llm_perf/server/server.proto |
| interfaces_expected_of | network-service |
Eckdaten
Warnungen zur Datenerhebung
- Star history unavailable: GitHub GraphQL error: Resource not accessible by personal access token
- Could not fetch pypi package 'xpu-perf' from its registry
- Advisory severity resolved for 120 of 573 advisories (lookup cap); the remainder are reported as unknown severity
- OpenSSF Scorecard did not return a usable result (killed by SIGKILL — most likely the container's memory limit; 2026/09/14 18:46:43 Warning: PATs stored in env variables GITHUB_AUTH_TOKEN and GITHUB_TOKEN differ. Scorecard will use the former.); skipping Scorecard checks
Weitere Details
Stern- und Fork-Verlauf 0 ★ / 130 ⇿
Wann jeder Stern und Fork hinzugefügt wurde, von GitHub erfasst und nach Tagen gruppiert. Das kumulierte Wachstum steht direkt über den täglichen Zugängen, aus denen es besteht, sodass beide gegeneinander lesbar sind: stetiger organischer Zuwachs sieht ganz anders aus als ein abrupter, kurzlebiger Ausschlag. Wo dieser Unterschied messbar ist, wird er als Wachstumsauthentizität ausgewiesen.
Jeder Punkt umfasst 4 Tage.
Direkte Abhängigkeiten 5
| Registry | Paket | Versionsvorgabe | Manifest |
|---|---|---|---|
| PyPI | prettytable | — | pyproject.toml |
| PyPI | jsonlines | — | pyproject.toml |
| PyPI | flask | — | pyproject.toml |
| PyPI | requests | — | pyproject.toml |
| PyPI | numpy | <=1.26.4 | pyproject.toml |
Alle Abhängigkeiten 90
Vollständig aufgelöster Abhängigkeitssatz aus dem GitHub-Abhängigkeitsgraphen: 8 direkte und 82 indirekte (transitive) Pakete. Die transitive Hülle ist vollständig, wenn das Repository eine Lockfile eincheckt.
| Registry | Paket | Version | Beziehung |
|---|---|---|---|
| PyPI | flask | — | direkt |
| PyPI | jsonlines | — | direkt |
| PyPI | numpy | — | direkt |
| PyPI | numpy | 1.19.2 | direkt |
| PyPI | numpy | 1.23.0 | direkt |
| PyPI | numpy | 1.23.4 | direkt |
| PyPI | prettytable | — | direkt |
| PyPI | requests | — | direkt |
| PyPI | accelerate | — | indirekt |
| PyPI | attrs | 21.2.0 | indirekt |
| PyPI | backoff | — | indirekt |
| PyPI | bert | — | indirekt |
| PyPI | bert-tensorflow | 1.0.1 | indirekt |
| PyPI | black | 23.1.0 | indirekt |
| PyPI | decorator | — | indirekt |
| PyPI | einops | — | indirekt |
| PyPI | flask-restful | — | indirekt |
| PyPI | fpdf | — | indirekt |
| PyPI | google-api-python-client | — | indirekt |
| PyPI | google-cloud-core | 2.3.2 | indirekt |
| PyPI | graphviz | 0.8.4 | indirekt |
| PyPI | grpcio | — | indirekt |
| PyPI | isort | — | indirekt |
| PyPI | keras2onnx | — | indirekt |
| PyPI | matplotlib | — | indirekt |
| PyPI | matplotlib | 3.3.4 | indirekt |
| PyPI | matplotlib | 3.4.2 | indirekt |
| PyPI | multipledispatch | — | indirekt |
| PyPI | mypy-protobuf | 2.8 | indirekt |
| PyPI | nltk | — | indirekt |
| PyPI | nvidia-modelopt | — | indirekt |
| PyPI | onnx | — | indirekt |
| PyPI | onnx | 1.12.0 | indirekt |
| PyPI | onnx | 1.13.1 | indirekt |
| PyPI | onnxconverter-common | 1.12.2 | indirekt |
| PyPI | onnxruntime | — | indirekt |
| PyPI | onnxruntime | 1.12.0 | indirekt |
| PyPI | opencv-python | — | indirekt |
| PyPI | opencv-python-headless | — | indirekt |
| PyPI | packaging | — | indirekt |
| PyPI | pandas | — | indirekt |
| PyPI | pandas | 1.3.3 | indirekt |
| PyPI | pandas | 1.5.1 | indirekt |
| PyPI | prompt-toolkit | — | indirekt |
| PyPI | protobuf | — | indirekt |
| PyPI | protobuf | 3.19.4 | indirekt |
| PyPI | protobuf | 3.19.6 | indirekt |
| PyPI | protobuf | 3.20.2 | indirekt |
| PyPI | psutil | — | indirekt |
| PyPI | pulp | — | indirekt |
| PyPI | pybind11 | — | indirekt |
| PyPI | pydot | — | indirekt |
| PyPI | pytest | — | indirekt |
| PyPI | pytest-cov | — | indirekt |
| PyPI | pytest-mock | — | indirekt |
| PyPI | pytest-random-order | — | indirekt |
| PyPI | pyyaml | — | indirekt |
| PyPI | scikit-learn | — | indirekt |
| PyPI | scipy | — | indirekt |
| PyPI | sentencepiece | — | indirekt |
| PyPI | sentencepiece | 0.1.96 | indirekt |
| PyPI | setuptools | 67.5 | indirekt |
| PyPI | synr | 0.4 | indirekt |
| PyPI | tensorflow | — | indirekt |
| PyPI | tensorflow | 1.15.0 | indirekt |
| PyPI | tensorflow | 2.4.0 | indirekt |
| PyPI | tensorflow | 2.7.2 | indirekt |
| PyPI | tensorflow | 2.8.4 | indirekt |
| PyPI | tensorflow-datasets | 4.7.0 | indirekt |
| PyPI | tensorstore | — | indirekt |
| PyPI | tf2onnx | — | indirekt |
| PyPI | tiktoken | — | indirekt |
| PyPI | tokenization | — | indirekt |
| PyPI | torch | — | indirekt |
| PyPI | torch | 1.12.1 | indirekt |
| PyPI | torch | 1.13.1 | indirekt |
| PyPI | torch | 1.9.1 | indirekt |
| PyPI | torchvision | — | indirekt |
| PyPI | torchvision | 0.10.1 | indirekt |
| PyPI | torchvision | 0.13.1 | indirekt |
| PyPI | tqdm | — | indirekt |
| PyPI | transformers | — | indirekt |
| PyPI | transformers | 4.40.0 | indirekt |
| PyPI | triton | 2.1.0 | indirekt |
| PyPI | typing-extensions | 3.7.4.3 | indirekt |
| PyPI | virtualenv | 16.7.9 | indirekt |
| PyPI | wandb | — | indirekt |
| PyPI | wrapt | — | indirekt |
| PyPI | wrapt | 1.14.1 | indirekt |
| PyPI | zarr | — | indirekt |
Abhängigkeits-Advisories 18
Dieses Repository veröffentlicht kein vom Index auflösbares Paket, daher wurde sein eigener Abhängigkeitsgraph bewertet – 38 Pakete, darunter auch Entwicklungs- und Test-Pins, die nie ausgeliefert werden: 18 tragen bekannte Advisories, davon 1 direkte. 52 konnten nicht bewertet werden – keine aufgelöste Version, ein nicht unterstütztes Ökosystem, oder außerhalb der ausgewiesenen Paketliste.
| Paket | Version | Beziehung | Schweregrad | Advisories | Behoben in |
|---|---|---|---|---|---|
| black | 23.1.0 | indirekt | kritisch | 4 | 26.3.1 |
| onnx | 1.12.0 | indirekt | kritisch | 26 | 1.22.0 |
| onnx | 1.13.1 | indirekt | kritisch | 24 | 1.22.0 |
| tensorflow | 1.15.0 | indirekt | kritisch | 745 | 2.12.1 |
| tensorflow | 2.4.0 | indirekt | kritisch | 760 | 2.12.1 |
| tensorflow | 2.7.2 | indirekt | kritisch | 94 | 2.12.1 |
| tensorflow | 2.8.4 | indirekt | kritisch | 46 | 2.12.1 |
| torch | 1.12.1 | indirekt | kritisch | 30 | 2.13.0 |
| torch | 1.13.1 | indirekt | kritisch | 28 | 2.13.0 |
| torch | 1.9.1 | indirekt | kritisch | 30 | 2.13.0 |
| transformers | 4.40.0 | indirekt | kritisch | 44 | 5.10.0 |
| virtualenv | 16.7.9 | indirekt | kritisch | 4 | 20.36.1 |
| protobuf | 3.19.4 | indirekt | hoch | 6 | 6.33.5 |
| protobuf | 3.19.6 | indirekt | hoch | 4 | 6.33.5 |
| protobuf | 3.20.2 | indirekt | hoch | 4 | 6.33.5 |
| sentencepiece | 0.1.96 | indirekt | hoch | 2 | 0.2.1 |
| setuptools | 67.5 | indirekt | hoch | 6 | 83.0.0 |
| numpy | 1.19.2 | direkt | mittel | 2 | 1.22 |
Ein Advisory bedeutet, dass die im Abhängigkeitsgraphen erfasste Version in den betroffenen Bereich eines Advisories fällt. Erreichbarkeit wird nicht analysiert, und der Graph enthält Entwicklungs- und Test-Pins — ein Fund kann das Werkzeug betreffen und nicht die ausgelieferte Software.
JSON-Rohbericht maschinenlesbar
Feedback
Stimmt etwas in diesem Bericht nicht, oder gibt es Gedanken dazu? Falsche Messungen, übersehene Tools, Ideen, Fragen — alles ist willkommen. Jede Nachricht wird gelesen und beantwortet.
Bewertungen sind Signale, keine Garantien. Sie spiegeln öffentlich sichtbare Praxis auf GitHub wider — kein Code-Audit und keine Sicherheitsgarantie.
Fehlende Daten werden ausgeschlossen und die Gewichte neu normiert, nie als null bewertet. Die Methodik ist versioniert und offen: Metriken v2.10.0, Schema v0.34.0 — vollständige Methodik · Metriken-Wiki.
Wie ein einzelnes Ergebnis im Gesamtregister steht: aggregierte Statistiken.