ml-rust / splintr
A high-performance tokenizer (BPE, WordPiece, SentencePiece) built with Rust with Python bindings, focused on speed, safety, and resource optimization.
ml-rust/splintr erreicht einen Gesundheitsindex von 78 von 100 und liegt damit im Bereich Gut. Am stärksten schneidet es bei Engineering Quality (81/100) ab, am schwächsten bei Community & Adoption (54/100). Zuletzt vor 3 Tagen aktualisiert. Ein einzelner Mitwirkender trägt den Großteil der jüngsten Arbeit.
Software-Gesundheitsindex
Metriken werden auf einer standardisierten Skala von 1–100 in gewichtete Kategorien gruppiert. Der Gesamtwert beginnt als ihr gewichtetes Mittel, kalibriert auf die Verteilung des öffentlichen Registers, sodass die Stufen Perzentilbedeutung tragen; sobald öffentliche Evidenz die Richtlinie für Hochrisikojurisdiktionen auslöst, wird die Bewertung angepasst und erhält die Obergrenze Gefährdet von 34.
Bewertungsprofil
Jede Achse ist eine Kategorie. Die Form zählt mehr als der Durchschnitt — ein gesundes Projekt füllt die gesamte Fläche, während ein Profil aus Spitzen und Kratern bedeutet, dass Stärke in einer Dimension Risiken in einer anderen verdeckt.
Der gewichtete Gesamtwert 67 wird auf der veröffentlichten Indexskala auf 78 kalibriert (Register-Kalibrierung 2026-08-02).
Eigentümerschaft
Dieses Repository wird von einer Organisation getragen — geteilte, rechenschaftspflichtige Trägerschaft, die jeden einzelnen Maintainer überdauern kann.
Paket-Ökosysteme
| Registry | Paket | Version | Downloads / Monat | Versionen | Zuletzt veröffentlicht | Tags |
|---|---|---|---|---|---|---|
| crates.io | splintr | 0.20.0 | 5.499 | 35 | vor 7 Tagen | bpellmsentencepiecetokenizerwordpieceencodingtext-processing |
| PyPI | splintr-rs | 0.20.0 | 351 | 32 | vor 7 Tagen | tokenizerbpesentencepiecetiktokenllm |
Metriken nach Kategorie
Vitalität
Lebt das Projekt — wird Code geschrieben und werden Releases ausgeliefert?
Wie die Bewertung erfolgt
| 36/36 | Push-Aktualität — letzter Push vor 3 Tagen |
| 9.7/36 | Commit-Rhythmus — 14/52 Wochen mit Commits |
| 18/18 | Commit-Volumen — 374 Commits im letzten Jahr |
| 10/10 | OpenSSF Scorecard: Maintained — 30 commit(s) and 3 issue activity found in the last 90 days -- score normalized to 10 |
Verwendete Eingangsdaten
| commits_last_year | 374 |
| human_commit_share | 0,97 |
| days_since_last_push | 3 |
| active_weeks_last_year | 14 |
Release-Disziplin
Wie die Bewertung erfolgt
| 27/27 | Liefert Releases aus — 15 Releases veröffentlicht |
| 36/36 | Release-Aktualität — letztes Release vor 7 Tagen |
| 27/27 | Release-Rhythmus — ein Release etwa alle 3,6 Tage |
| 0/10 | OpenSSF Scorecard: Signed-Releases — Project has not signed or included provenance with any releases. |
Verwendete Eingangsdaten
| releases_count | 15 |
| latest_release_tag | v0.20.0 |
| releases_from_tags | nein |
| days_since_latest_release | 7 |
| mean_days_between_releases | 3,6 |
Community & Verbreitung
Hat das Projekt Nutzer, Downloads, Aufmerksamkeit und ein einladendes Umfeld für Beitragende?
Popularität & Verbreitung
Wie die Bewertung erfolgt
| 28.7/60 | Stars — 60 Stars |
| 5.8/25 | Forks — 6 Forks |
| 0/15 | Watcher — 1 Watcher |
Verwendete Eingangsdaten
| forks | 6 |
| stars | 60 |
| watchers | 1 |
| growth_state | unverified |
| growth_factor_pct | 100 |
| growth_unverified_reason | no_history |
Community-Gesundheit
Wie die Bewertung erfolgt
| 22.5/22.5 | README |
| 22.5/22.5 | Lizenz — anerkannte Lizenz (MIT) |
| 18/18 | CONTRIBUTING-Leitfaden |
| 0/13.5 | Verhaltenskodex |
| 0/7.2 | Issue-Vorlage |
| 0/6.3 | PR-Vorlage |
Verwendete Eingangsdaten
| has_readme | ja |
| has_license | ja |
| readme_badges | 7 |
| has_contributing | ja |
| has_issue_template | nein |
| has_code_of_conduct | nein |
| readme_badge_services | shields.io |
| has_pull_request_template | nein |
Wie die Bewertung erfolgt
| 50.2/80 | Downloads pro Monat — 5.850 Downloads/Monat über crates, pypi |
| 0/20 | Abhängige in der Registry — von diesem Ökosystem nicht ausgewiesen |
Verwendete Eingangsdaten
| packages | splintr, splintr-rs |
| dependents | — |
| ecosystems | crates, pypi |
| total_downloads | 28.384 |
| monthly_downloads | 5.850 |
| unverified_packages_excluded | — |
Nachhaltigkeit & Governance
Überdauert das Projekt die Menschen, die es tragen — Bus-Faktor, Reaktionsfähigkeit, Trägerschaft und Paketpflege?
Maintainer-Resilienz (Bus-Faktor)
Wie die Bewertung erfolgt
| 9/54 | Bus-Faktor — 1 Beitragende decken die Hälfte aller Commits ab |
| 0.1/22.5 | Commit-Verteilung — wichtigste beitragende Person verfasste 100 % der Commits |
| 4.1/13.5 | Breite der Beitragenden — 3 Beitragende |
| 10/10 | OpenSSF Scorecard: Contributors — project has 4 contributing companies or organizations |
Verwendete Eingangsdaten
| bus_factor | 1 |
| contributors_sampled | 3 |
| top_contributor_share | 0,995 |
Reaktionsfähigkeit bei Issues & PRs
Wie die Bewertung erfolgt
| 42/42 | Issue-Lösungsquote — 100 % der Issues geschlossen |
| 28.3/30 | PR-Annahme — 17/18 entschiedene PRs gemergt |
| 13/13 | Newcomer PR acceptance — 1/1 PRs von Erstbeitragenden in 30 Tagen gemergt |
| 0/15 | OpenSSF Scorecard: Code-Review — Found 1/22 approved changesets -- score normalized to 0 |
Verwendete Eingangsdaten
| merged_prs | 17 |
| open_issues | 0 |
| closed_issues | 5 |
| prs_merged_7d | 0 |
| prs_decided_7d | 0 |
| prs_merged_30d | 1 |
| prs_decided_30d | 1 |
| issue_closed_ratio | 1 |
| closed_unmerged_prs | 1 |
| first_time_authors_30d | 1 |
| first_time_prs_merged_30d | 1 |
| first_time_prs_decided_30d | 1 |
Eigentümerschaft & Trägerschaft
Wie die Bewertung erfolgt
| 30/30 | Organisatorische Trägerschaft — im Besitz einer Organisation |
| 0/20 | Verifizierte Domain |
| 10.7/25 | Reichweite des Inhabers — 30 Follower von ml-rust |
| 10.1/25 | Kontohistorie — 14 öffentliche Repos, Kontoalter ca. 0 Jahre |
Verwendete Eingangsdaten
| followers | 30 |
| owner_type | Organization |
| is_verified | nein |
| owner_login | ml-rust |
| public_repos | 14 |
| account_age_days | 285 |
Paketpflege
Wie die Bewertung erfolgt
| 25/25 | Veröffentlicht & auflösbar — 2 Paket(e) auf crates, pypi |
| 35/35 | Veröffentlichungsaktualität — letzte Veröffentlichung vor 7 Tagen |
| 20/20 | Versionshistorie — 35 veröffentlichte Versionen |
| 20/20 | Nicht veraltet — aktiv, nicht veraltet oder zurückgezogen |
Verwendete Eingangsdaten
| packages | splintr, splintr-rs |
| ecosystems | crates, pypi |
| any_deprecated | nein |
| min_days_since_publish | 7 |
Engineering-Qualität
Sind grundlegende Engineering- und Dokumentationspraktiken vorhanden?
Wie die Bewertung erfolgt
| 24/24 | CI-Workflows — 6 Workflow(s) |
| 24/24 | Tests vorhanden |
| 0/16 | Linter-Konfiguration |
| 0/9.6 | Pre-Commit-Hooks |
| 0/6.4 | .editorconfig |
| 20/20 | OpenSSF Scorecard: CI-Tests — 4 out of 4 merged PRs checked by a CI test -- score normalized to 10 |
Verwendete Eingangsdaten
| has_ci | ja |
| has_tests | ja |
| has_editorconfig | nein |
| has_linter_config | nein |
| has_precommit_config | nein |
Dokumentation
Wie die Bewertung erfolgt
| 30/30 | README |
| 25/25 | Dokumentationsverzeichnis |
| 15/15 | Dokumentations-/Homepage-Site — https://github.com/ml-rust/splintr#readme |
| 10/10 | Repository-Beschreibung |
| 10/10 | Topics — 6 Topics |
| 10/10 | Wiki |
Verwendete Eingangsdaten
| topics | huggingface, llm, machine-learning, openai, rust, tokenizer |
| has_wiki | ja |
| homepage | — |
| docs_site | https://github.com/ml-rust/splintr#readme |
| has_readme | ja |
| has_docs_dir | ja |
| has_description | ja |
Sicherheit
Sind die sichtbaren Sicherheits- und Lieferkettenpraktiken belastbar, ohne ungeklärte Exposition gegenüber Hochrisikojurisdiktionen?
Sicherheitslage
Wie die Bewertung erfolgt
| 7.5/7.5 | Binary-Artifacts — no binaries found in the repo |
| 2.2/7.5 | Branch-Protection — branch protection is not maximal on development and all release branches |
| 2.5/2.5 | CI-Tests — 4 out of 4 merged PRs checked by a CI test -- score normalized to 10 |
| 0/2.5 | CII-Best-Practices — no effort to earn an OpenSSF best practices badge detected |
| 0/7.5 | Code-Review — Found 1/22 approved changesets -- score normalized to 0 |
| 2.5/2.5 | Contributors — project has 4 contributing companies or organizations |
| 10/10 | Dangerous-Workflow — no dangerous workflow patterns detected |
| 7.5/7.5 | Dependency-Update-Tool — update tool detected |
| 0/5 | Fuzzing — project is not fuzzed |
| 2.5/2.5 | Lizenz — license file detected |
| 7.5/7.5 | Maintained — 30 commit(s) and 3 issue activity found in the last 90 days -- score normalized to 10 |
| 5/5 | Packaging — packaging workflow detected |
| 3.5/5 | Pinned-Dependencies — dependency not pinned by hash detected -- score normalized to 7 |
| 0/5 | SAST — SAST tool is not run on all commits -- score normalized to 0 |
| 0/5 | Security-Policy — security policy file not detected |
| 0/7.5 | Signed-Releases — Project has not signed or included provenance with any releases. |
| 0/7.5 | Token-Permissions — detected GitHub workflow tokens with excessive permissions |
| 6.8/7.5 | Vulnerabilities — 1 existing vulnerabilities detected |
Verwendete Eingangsdaten
| source | openssf_scorecard |
| checks_evaluated | 18 |
| scorecard_version | v5.5.0 |
| checks_inconclusive | 0 |
| scorecard_aggregate | 5,5 |
AI Readiness
Wie gut ist das Repository dafür ausgestattet, mit KI-Coding-Agenten entwickelt und gepflegt zu werden? Trägt ein bewusst kleines Gewicht (4 %): Agenten-Tooling ist ein echtes Pflegesignal, doch ein Repository ohne jedes Signal kann weiterhin 100/100 erreichen.
AI-Agentenkontext & Leitlinien
Wie die Bewertung erfolgt
| 0/45 | Agentenanweisungen — keine CLAUDE.md / AGENTS.md / Editor-Regeln |
| 0/15 | Maschinenlesbare Doku (llms.txt) |
| 40/40 | Lesbare Commit-Historie — 97 von 97 menschlichen Commits benennen ihre Absicht (strukturierter Betreff oder erläuternder Text) |
Verwendete Eingangsdaten
| has_llms_txt | nein |
| llms_txt_url | — |
| legible_history_share | 1 |
| agent_instruction_files | — |
| agent_instruction_max_bytes | — |
Wie die Bewertung erfolgt
| 12.6/18 | Bootstrap mit einem Befehl — .github/rust-bench/Cargo.toml, Cargo.toml, crates/train/Cargo.toml (Toolchain-Konvention, kein Task-Runner) |
| 22/22 | Automatisierte Tests |
| 0/11 | Lint-/Format-Konfiguration |
| 11/11 | Statische Typprüfung — python/splintr/py.typed |
| 10/10 | Reproduzierbare Umgebung — lockfile |
| 0/10 | Belegte Agentenpraxis — keine von Agenten verfassten Commits unter den letzten 100 |
| 8/8 | Automatisierte Wartung — 3 der letzten 100 Commits sind automatisierte Abhängigkeits-Updates |
| 7/10 | OpenSSF Scorecard: Pinned-Dependencies — dependency not pinned by hash detected -- score normalized to 7 |
Verwendete Eingangsdaten
| has_nix | nein |
| has_tests | ja |
| lockfiles | Cargo.lock, uv.lock |
| has_dockerfile | nein |
| typed_language | ja |
| bootstrap_files | — |
| has_devcontainer | nein |
| has_linter_config | nein |
| typecheck_configs | python/splintr/py.typed |
| agent_commit_share | 0 |
| toolchain_manifests | .github/rust-bench/Cargo.toml, Cargo.toml, crates/train/Cargo.toml, crates/vocab-cl100k/Cargo.toml, crates/vocab-deepseek/Cargo.toml, crates/vocab-gemma2/Cargo.toml, crates/vocab-gemma3/Cargo.toml, crates/vocab-gemma4/Cargo.toml, crates/vocab-glm/Cargo.toml, crates/vocab-kimi/Cargo.toml, crates/vocab-llama2/Cargo.toml, crates/vocab-llama3/Cargo.toml, crates/vocab-mistral/Cargo.toml, crates/vocab-modernbert/Cargo.toml, crates/vocab-o200k/Cargo.toml, crates/vocab-pack/Cargo.toml, crates/vocab-qwen/Cargo.toml, crates/vocab-whisper/Cargo.toml |
| dependency_bot_commit_share | 0,03 |
AI-Code-Lesbarkeit für Modelle
Wie die Bewertung erfolgt
| 45/45 | Typprüfbarer Code — Rust (statisch typisiert) |
| 52.5/55 | Handhabbare Dateigrößen — 9/198 Quelldateien über 60 KB |
Verwendete Eingangsdaten
| primary_language | Rust |
| largest_source_bytes | 172.888 |
| source_files_sampled | 198 |
| oversized_source_files | 9 |
Maschinenlesbare AI-Schnittstellen
Wie die Bewertung erfolgt
| 0/40 | API-Schema (OpenAPI/GraphQL/proto) — für diese Art von Software nicht anwendbar |
| 0/20 | MCP-Server — für diese Art von Software nicht anwendbar |
| 40/40 | Lauffähige Beispiele — examples |
Verwendete Eingangsdaten
| example_dirs | examples |
| has_mcp_signal | nein |
| api_schema_files | — |
| interfaces_expected_of | — |
Eckdaten
Warnungen zur Datenerhebung
- Star history unavailable: GitHub GraphQL error: Resource not accessible by personal access token
- pypi download statistics for 'splintr-rs' unavailable this scan (stats endpoint failed after retries); adoption may be under-evidenced
- pypi download figures for splintr-rs carried forward from the previous scan (stats endpoint unavailable this scan)
- GitHub dependency-graph SBOM unavailable (404); the dependency graph may be disabled for this repository
Weitere Details
Stern- und Fork-Verlauf 0 ★ / 6 ⇿
Wann jeder Stern und Fork hinzugefügt wurde, von GitHub erfasst und nach Tagen gruppiert. Das kumulierte Wachstum steht direkt über den täglichen Zugängen, aus denen es besteht, sodass beide gegeneinander lesbar sind: stetiger organischer Zuwachs sieht ganz anders aus als ein abrupter, kurzlebiger Ausschlag. Wo dieser Unterschied messbar ist, wird er als Wachstumsauthentizität ausgewiesen.
OpenSSF Scorecard 5.5 / 10
Unabhängige, werkzeugneutrale Sicherheitsbewertung durch das quelloffene OpenSSF Scorecard. Jede Prüfung honoriert eine Sicherheits-Praxis, nicht das Werkzeug eines bestimmten Anbieters. Prüfungen, die Scorecard nicht ermitteln konnte, sind mit k. A. markiert und vom Sicherheitswert ausgeschlossen (nie als null gezählt).
| 10 | Binary-Artifacts | no binaries found in the repo |
| 3 | Branch-Protection | branch protection is not maximal on development and all release branches |
| 10 | CI-Tests | 4 out of 4 merged PRs checked by a CI test -- score normalized to 10 |
| 0 | CII-Best-Practices | no effort to earn an OpenSSF best practices badge detected |
| 0 | Code-Review | Found 1/22 approved changesets -- score normalized to 0 |
| 10 | Contributors | project has 4 contributing companies or organizations |
| 10 | Dangerous-Workflow | no dangerous workflow patterns detected |
| 10 | Dependency-Update-Tool | update tool detected |
| 0 | Fuzzing | project is not fuzzed |
| 10 | License | license file detected |
| 10 | Maintained | 30 commit(s) and 3 issue activity found in the last 90 days -- score normalized to 10 |
| 10 | Packaging | packaging workflow detected |
| 7 | Pinned-Dependencies | dependency not pinned by hash detected -- score normalized to 7 |
| 0 | SAST | SAST tool is not run on all commits -- score normalized to 0 |
| 0 | Security-Policy | security policy file not detected |
| 0 | Signed-Releases | Project has not signed or included provenance with any releases. |
| 0 | Token-Permissions | detected GitHub workflow tokens with excessive permissions |
| 9 | Vulnerabilities | 1 existing vulnerabilities detected |
Direkte Abhängigkeiten 29
| Registry | Paket | Versionsvorgabe | Manifest |
|---|---|---|---|
| crates.io | splintr-vocab-cl100k | 1 | Cargo.toml |
| crates.io | splintr-vocab-o200k | 1 | Cargo.toml |
| crates.io | splintr-vocab-llama3 | 1 | Cargo.toml |
| crates.io | splintr-vocab-llama2 | 1 | Cargo.toml |
| crates.io | splintr-vocab-deepseek | 1 | Cargo.toml |
| crates.io | splintr-vocab-qwen | 1 | Cargo.toml |
| crates.io | splintr-vocab-glm | 1 | Cargo.toml |
| crates.io | splintr-vocab-gemma2 | 1 | Cargo.toml |
| crates.io | splintr-vocab-gemma3 | 1 | Cargo.toml |
| crates.io | splintr-vocab-gemma4 | 1 | Cargo.toml |
| crates.io | splintr-vocab-kimi | 1 | Cargo.toml |
| crates.io | splintr-vocab-mistral | 1 | Cargo.toml |
| crates.io | splintr-vocab-modernbert | 1 | Cargo.toml |
| crates.io | splintr-vocab-whisper | 1 | Cargo.toml |
| crates.io | pcre2 | 0.2 | Cargo.toml |
| crates.io | rayon | 1.10 | Cargo.toml |
| crates.io | rustc-hash | 2.0 | Cargo.toml |
| crates.io | thiserror | 2.0 | Cargo.toml |
| crates.io | pyo3 | 0.29 | Cargo.toml |
| crates.io | base64 | 0.22 | Cargo.toml |
| crates.io | aho-corasick | 1.1 | Cargo.toml |
| crates.io | memchr | 2.7 | Cargo.toml |
| crates.io | lru | 0.18 | Cargo.toml |
| crates.io | regexr | 0.5 | Cargo.toml |
| crates.io | unicode-normalization | 0.1 | Cargo.toml |
| crates.io | unicode-segmentation | 1 | Cargo.toml |
| crates.io | unicode-general-category | 1.0 | Cargo.toml |
| crates.io | serde | 1.0 | Cargo.toml |
| crates.io | serde_json | 1.0 | Cargo.toml |
Alle Abhängigkeiten nicht erhoben
Der aufgelöste Abhängigkeitssatz konnte für diesen Bericht nicht erhoben werden: GitHub dependency-graph SBOM unavailable (404); the dependency graph may be disabled for this repository
JSON-Rohbericht maschinenlesbar
Feedback
Stimmt etwas in diesem Bericht nicht, oder gibt es Gedanken dazu? Falsche Messungen, übersehene Tools, Ideen, Fragen — alles ist willkommen. Jede Nachricht wird gelesen und beantwortet.
Bewertungen sind Signale, keine Garantien. Sie spiegeln öffentlich sichtbare Praxis auf GitHub wider — kein Code-Audit und keine Sicherheitsgarantie.
Fehlende Daten werden ausgeschlossen und die Gewichte neu normiert, nie als null bewertet. Die Methodik ist versioniert und offen: Metriken v2.10.0, Schema v0.34.0 — vollständige Methodik · Metriken-Wiki.
Wie ein einzelnes Ergebnis im Gesamtregister steht: aggregierte Statistiken — crates.io, PyPI.