Software-GesundheitsberichtSchema 0.34.0 · Metriken 2.10.0 · 2026-09-26 06:34 UTC

zurawiki / tiktoken-rs

Ready-made tokenizer library for working with GPT and tiktoken

RustMIT★ 411 Sterne⑂ 75 Forksseit Feb. 2023Auf GitHub ansehen ↗

zurawiki/tiktoken-rs erreicht einen Gesundheitsindex von 80 von 100 und liegt damit im Bereich Exzellent. Am stärksten schneidet es bei Engineering Quality (80/100) ab, am schwächsten bei Sustainability & Governance (53/100). Zuletzt vor 1 Tag aktualisiert. Ein einzelner Mitwirkender trägt den Großteil der jüngsten Arbeit.

gesamt / 100

Exzellent

Software-Gesundheitsindex

Metriken werden auf einer standardisierten Skala von 1–100 in gewichtete Kategorien gruppiert. Der Gesamtwert beginnt als ihr gewichtetes Mittel, kalibriert auf die Verteilung des öffentlichen Registers, sodass die Stufen Perzentilbedeutung tragen; sobald öffentliche Evidenz die Richtlinie für Hochrisikojurisdiktionen auslöst, wird die Bewertung angepasst und erhält die Obergrenze Gefährdet von 34.

Außergewöhnlich93-100Die Spitzengruppe des Registers (≈ obere 5 %); erfüllt im Wesentlichen alle geprüften Kriterien

Exzellent80-92Durchgehend stark; geringfügige Lücken

Gut65-79Gesund; Lücken sind begrenzt und beherrschbar

Mittel50-64Akzeptabel mit deutlichen Lücken; Überprüfung empfohlen

Schwach35-49Wesentliche Schwächen in mehreren Bereichen

Gefährdet20-34Erhebliche Schwächen; eine Übernahme erfordert Vorsicht

Kritisch1-19Schwerwiegende Probleme (aufgegeben, nur ein Maintainer, keine Hygiene)

Bewertungsprofil

Jede Achse ist eine Kategorie. Die Form zählt mehr als der Durchschnitt — ein gesundes Projekt füllt die gesamte Fläche, während ein Profil aus Spitzen und Kratern bedeutet, dass Stärke in einer Dimension Risiken in einer anderen verdeckt.

Der gewichtete Gesamtwert 68 wird auf der veröffentlichten Indexskala auf 80 kalibriert (Register-Kalibrierung 2026-08-02).

Eigentümerschaft

Roger ZurawickiPersönliches Konto

0 Follower43 öffentliche Reposseit Feb. 2012

Dieses Repository gehört einem persönlichen Konto. Ein Projekt mit nur einem Eigentümer trägt ein höheres Kontinuitätsrisiko als ein organisationsgetragenes.

Paket-Ökosysteme

Registry	Paket	Version	Downloads / Monat	Versionen	Zuletzt veröffentlicht	Tags
crates.io	tiktoken-rs	0.12.1	2.451.346	36	vor 1 Tag	ai bpe gpt openai

Metriken nach Kategorie

Vitalität

Lebt das Projekt — wird Code geschrieben und werden Releases ausgeliefert?

73Gut · 21 % des Gesamtindex

Entwicklungsaktivität

60Mittel

Wie die Bewertung erfolgt

36/36	Push-Aktualität — letzter Push vor 1 Tagen
4.2/36	Commit-Rhythmus — 6/52 Wochen mit Commits
14.5/18	Commit-Volumen — 40 Commits im letzten Jahr
5/10	OpenSSF Scorecard: Maintained — 7 commit(s) and 0 issue activity found in the last 90 days -- score normalized to 5

Verwendete Eingangsdaten

commits_last_year	40
human_commit_share	0,83
days_since_last_push	1
active_weeks_last_year	6

Release-Disziplin

92Exzellent

Wie die Bewertung erfolgt

27/27	Liefert Releases aus — 33 Releases veröffentlicht
36/36	Release-Aktualität — letztes Release vor 1 Tagen
19.8/27	Release-Rhythmus — ein Release etwa alle 116,1 Tage
0/10	OpenSSF Scorecard: Signed-Releases — keine Daten

Verwendete Eingangsdaten

releases_count	33
latest_release_tag	v0.12.1
releases_from_tags	nein
days_since_latest_release	1
mean_days_between_releases	116,1

Von der Bewertung ausgeschlossen (keine Daten oder nicht anwendbar): OpenSSF Scorecard: Signed-Releases. Die verbleibenden Gewichte wurden renormalisiert.

Community & Verbreitung

Hat das Projekt Nutzer, Downloads, Aufmerksamkeit und ein einladendes Umfeld für Beitragende?

79Gut · 17 % des Gesamtindex

Popularität & Verbreitung

61Mittel

Wie die Bewertung erfolgt

42.4/60	Stars — 411 Stars
15.6/25	Forks — 75 Forks
2.7/15	Watcher — 4 Watcher

Verwendete Eingangsdaten

forks	75
stars	411
watchers	4
growth_state	unverified
growth_factor_pct	100
growth_unverified_reason	no_history

Community-Gesundheit

85Exzellent

Wie die Bewertung erfolgt

22.5/22.5	README
22.5/22.5	Lizenz — anerkannte Lizenz (MIT)
18/18	CONTRIBUTING-Leitfaden
13.5/13.5	Verhaltenskodex
0/7.2	Issue-Vorlage
0/6.3	PR-Vorlage

Verwendete Eingangsdaten

has_readme	ja
has_license	ja
readme_badges	0
has_contributing	ja
has_issue_template	nein
has_code_of_conduct	ja
readme_badge_services	—
has_pull_request_template	nein

Ökosystem-Verbreitung (Downloads)

100Außergewöhnlich

Wie die Bewertung erfolgt

80/80	Downloads pro Monat — 2.451.346 Downloads/Monat über crates
0/20	Abhängige in der Registry — von diesem Ökosystem nicht ausgewiesen

Verwendete Eingangsdaten

packages	tiktoken-rs
dependents	—
ecosystems	crates
total_downloads	18.097.302
monthly_downloads	2.451.346
unverified_packages_excluded	—

Von der Bewertung ausgeschlossen (keine Daten oder nicht anwendbar): Abhängige in der Registry. Die verbleibenden Gewichte wurden renormalisiert.

Nachhaltigkeit & Governance

Überdauert das Projekt die Menschen, die es tragen — Bus-Faktor, Reaktionsfähigkeit, Trägerschaft und Paketpflege?

53Mittel · 23 % des Gesamtindex

Maintainer-Resilienz (Bus-Faktor)

26Gefährdet

Wie die Bewertung erfolgt

9/54	Bus-Faktor — 1 Beitragende decken die Hälfte aller Commits ab
3.6/22.5	Commit-Verteilung — wichtigste beitragende Person verfasste 84 % der Commits
13.5/13.5	Breite der Beitragenden — 17 Beitragende
0/10	OpenSSF Scorecard: Contributors — project has 0 contributing companies or organizations -- score normalized to 0

Verwendete Eingangsdaten

bus_factor	1
contributors_sampled	17
top_contributor_share	0,84

Reaktionsfähigkeit bei Issues & PRs

57Mittel

Wie die Bewertung erfolgt

38.9/42	Issue-Lösungsquote — 93 % der Issues geschlossen
18/30	PR-Annahme — 81/135 entschiedene PRs gemergt
0/13	Newcomer PR acceptance — 0/1 PRs von Erstbeitragenden in 30 Tagen gemergt
0/15	OpenSSF Scorecard: Code-Review — Found 1/28 approved changesets -- score normalized to 0

Verwendete Eingangsdaten

merged_prs	81
open_issues	2
closed_issues	25
prs_merged_7d	6
prs_decided_7d	7
prs_merged_30d	6
prs_decided_30d	7
issue_closed_ratio	0,926
closed_unmerged_prs	54
first_time_authors_30d	1
first_time_prs_merged_30d	0
first_time_prs_decided_30d	1

Eigentümerschaft & Trägerschaft

42Schwach

Wie die Bewertung erfolgt

10/30	Organisatorische Trägerschaft — persönliches (Nutzer-)Konto
0/20	Verifizierte Domain — für Nutzerkonten nicht anwendbar
0/25	Reichweite des Inhabers — 0 Follower von zurawiki
24/25	Kontohistorie — 43 öffentliche Repos, Kontoalter ca. 14 Jahre

Verwendete Eingangsdaten

followers	0
owner_type	User
is_verified	—
owner_login	zurawiki
public_repos	43
account_age_days	5.329

Von der Bewertung ausgeschlossen (keine Daten oder nicht anwendbar): Verifizierte Domain. Die verbleibenden Gewichte wurden renormalisiert.

Paketpflege

100Außergewöhnlich

Wie die Bewertung erfolgt

25/25	Veröffentlicht & auflösbar — 1 Paket(e) auf crates
35/35	Veröffentlichungsaktualität — letzte Veröffentlichung vor 1 Tagen
20/20	Versionshistorie — 36 veröffentlichte Versionen
20/20	Nicht veraltet — aktiv, nicht veraltet oder zurückgezogen

Verwendete Eingangsdaten

packages	tiktoken-rs
ecosystems	crates
any_deprecated	nein
min_days_since_publish	1

Engineering-Qualität

Sind grundlegende Engineering- und Dokumentationspraktiken vorhanden?

80Exzellent · 19 % des Gesamtindex

Engineering-Praktiken

90Exzellent

Wie die Bewertung erfolgt

24/24	CI-Workflows — 2 Workflow(s)
24/24	Tests vorhanden
16/16	Linter-Konfiguration — rustfmt.toml
0/9.6	Pre-Commit-Hooks
6.4/6.4	.editorconfig
20/20	OpenSSF Scorecard: CI-Tests — 28 out of 28 merged PRs checked by a CI test -- score normalized to 10

Verwendete Eingangsdaten

has_ci	ja
has_tests	ja
has_editorconfig	ja
has_linter_config	ja
has_precommit_config	nein

Dokumentation

65Gut

Wie die Bewertung erfolgt

30/30	README
0/25	Dokumentationsverzeichnis
15/15	Dokumentations-/Homepage-Site — https://docs.rs/crate/tiktoken-rs/
10/10	Repository-Beschreibung
10/10	Topics — 4 Topics
0/10	Wiki

Verwendete Eingangsdaten

topics	bpe, openai, rust, tokenizer
has_wiki	nein
homepage	—
docs_site	https://docs.rs/crate/tiktoken-rs/
has_readme	ja
has_docs_dir	nein
has_description	ja

Sicherheit

Sind die sichtbaren Sicherheits- und Lieferkettenpraktiken belastbar, ohne ungeklärte Exposition gegenüber Hochrisikojurisdiktionen?

55Mittel · 16 % des Gesamtindex

Sicherheitslage

55Mittel

Wie die Bewertung erfolgt

7.5/7.5	Binary-Artifacts — no binaries found in the repo
0/7.5	Branch-Protection — branch protection not enabled on development/release branches
2.5/2.5	CI-Tests — 28 out of 28 merged PRs checked by a CI test -- score normalized to 10
0/2.5	CII-Best-Practices — no effort to earn an OpenSSF best practices badge detected
0/7.5	Code-Review — Found 1/28 approved changesets -- score normalized to 0
0/2.5	Contributors — project has 0 contributing companies or organizations -- score normalized to 0
10/10	Dangerous-Workflow — no dangerous workflow patterns detected
7.5/7.5	Dependency-Update-Tool — update tool detected
0/5	Fuzzing — project is not fuzzed
2.5/2.5	Lizenz — license file detected
3.8/7.5	Maintained — 7 commit(s) and 0 issue activity found in the last 90 days -- score normalized to 5
0/5	Packaging — keine Daten
5/5	Pinned-Dependencies — all dependencies are pinned
0/5	SAST — SAST tool is not run on all commits -- score normalized to 0
5/5	Security-Policy — security policy file detected
0/7.5	Signed-Releases — keine Daten
0/7.5	Token-Permissions — detected GitHub workflow tokens with excessive permissions
7.5/7.5	Vulnerabilities — 0 existing vulnerabilities detected

Verwendete Eingangsdaten

source	openssf_scorecard
checks_evaluated	16
scorecard_version	v5.5.0
checks_inconclusive	2
scorecard_aggregate	5,5

Von der Bewertung ausgeschlossen (keine Daten oder nicht anwendbar): Packaging, Signed-Releases. Die verbleibenden Gewichte wurden renormalisiert.

AI Readiness

Wie gut ist das Repository dafür ausgestattet, mit KI-Coding-Agenten entwickelt und gepflegt zu werden? Trägt ein bewusst kleines Gewicht (4 %): Agenten-Tooling ist ein echtes Pflegesignal, doch ein Repository ohne jedes Signal kann weiterhin 100/100 erreichen.

75Gut · 4 % des Gesamtindex

AI-Agentenkontext & Leitlinien

30Gefährdet

Wie die Bewertung erfolgt

0/45	Agentenanweisungen — keine CLAUDE.md / AGENTS.md / Editor-Regeln
0/15	Maschinenlesbare Doku (llms.txt)
29.6/40	Lesbare Commit-Historie — 46 von 83 menschlichen Commits benennen ihre Absicht (strukturierter Betreff oder erläuternder Text)

Verwendete Eingangsdaten

has_llms_txt	nein
llms_txt_url	—
legible_history_share	0,554
agent_instruction_files	—
agent_instruction_max_bytes	—

AI-Verify-Loop (Build / Test / Typprüfung)

90Exzellent

Wie die Bewertung erfolgt

18/18	Bootstrap mit einem Befehl — Justfile
22/22	Automatisierte Tests
11/11	Lint-/Format-Konfiguration — rustfmt.toml
11/11	Statische Typprüfung — Rust (statisch typisiert)
0/10	Reproduzierbare Umgebung
10/10	Belegte Agentenpraxis — 15 der letzten 100 Commits von Agenten verfasst oder ihnen zugeschrieben
8/8	Automatisierte Wartung — 17 der letzten 100 Commits sind automatisierte Abhängigkeits-Updates
10/10	OpenSSF Scorecard: Pinned-Dependencies — all dependencies are pinned

Verwendete Eingangsdaten

has_nix	nein
has_tests	ja
lockfiles	—
has_dockerfile	nein
typed_language	ja
bootstrap_files	Justfile
has_devcontainer	nein
has_linter_config	ja
typecheck_configs	—
agent_commit_share	0,15
toolchain_manifests	Cargo.toml, tiktoken-rs/Cargo.toml
dependency_bot_commit_share	0,17

AI-Code-Lesbarkeit für Modelle

100Außergewöhnlich

Wie die Bewertung erfolgt

45/45	Typprüfbarer Code — Rust (statisch typisiert)
55/55	Handhabbare Dateigrößen — 0/17 Quelldateien über 60 KB

Verwendete Eingangsdaten

primary_language	Rust
largest_source_bytes	36.603
source_files_sampled	17
oversized_source_files	0

Maschinenlesbare AI-Schnittstellen

100Außergewöhnlich

Wie die Bewertung erfolgt

0/40	API-Schema (OpenAPI/GraphQL/proto) — für diese Art von Software nicht anwendbar
0/20	MCP-Server — für diese Art von Software nicht anwendbar
40/40	Lauffähige Beispiele — examples

Verwendete Eingangsdaten

example_dirs	examples
has_mcp_signal	nein
api_schema_files	—
interfaces_expected_of	—

Von der Bewertung ausgeschlossen (keine Daten oder nicht anwendbar): API-Schema (OpenAPI/GraphQL/proto), MCP-Server. Die verbleibenden Gewichte wurden renormalisiert.

Eckdaten

411GitHub-Sterne

17Mitwirkende

40Commits, letzte 12 Monate

1Tage seit letztem Push

33Releases

1Bus-Faktor

2offene Issues

crates.ioPaket-Ökosysteme

Warnungen zur Datenerhebung

Star history unavailable: GitHub GraphQL error: Resource not accessible by personal access token
No resolved dependencies carried a version and a supported ecosystem

Weitere Details

Stern- und Fork-Verlauf 0 ★ / 75 ⇿

0Sterne

75Forks

26Releases

Wann jeder Stern und Fork hinzugefügt wurde, von GitHub erfasst und nach Tagen gruppiert. Das kumulierte Wachstum steht direkt über den täglichen Zugängen, aus denen es besteht, sodass beide gegeneinander lesbar sind: stetiger organischer Zuwachs sieht ganz anders aus als ein abrupter, kurzlebiger Ausschlag. Wo dieser Unterschied messbar ist, wird er als Wachstumsauthentizität ausgewiesen.

Major 0Minor 8Patch 18

Jeder Punkt umfasst 4 Tage.

OpenSSF Scorecard 5.5 / 10

5.5Gesamtwert

Unabhängige, werkzeugneutrale Sicherheitsbewertung durch das quelloffene OpenSSF Scorecard. Jede Prüfung honoriert eine Sicherheits-Praxis, nicht das Werkzeug eines bestimmten Anbieters. Prüfungen, die Scorecard nicht ermitteln konnte, sind mit k. A. markiert und vom Sicherheitswert ausgeschlossen (nie als null gezählt).Scorecard v5.5.0 · 2026-09-26 06:34 UTC

10	Binary-Artifacts	no binaries found in the repo
0	Branch-Protection	branch protection not enabled on development/release branches
10	CI-Tests	28 out of 28 merged PRs checked by a CI test -- score normalized to 10
0	CII-Best-Practices	no effort to earn an OpenSSF best practices badge detected
0	Code-Review	Found 1/28 approved changesets -- score normalized to 0
0	Contributors	project has 0 contributing companies or organizations -- score normalized to 0
10	Dangerous-Workflow	no dangerous workflow patterns detected
10	Dependency-Update-Tool	update tool detected
0	Fuzzing	project is not fuzzed
10	License	license file detected
5	Maintained	7 commit(s) and 0 issue activity found in the last 90 days -- score normalized to 5
k. A.	Packaging	packaging workflow not detected
10	Pinned-Dependencies	all dependencies are pinned
0	SAST	SAST tool is not run on all commits -- score normalized to 0
10	Security-Policy	security policy file detected
k. A.	Signed-Releases	no releases found
0	Token-Permissions	detected GitHub workflow tokens with excessive permissions
10	Vulnerabilities	0 existing vulnerabilities detected

Direkte Abhängigkeiten 8

Registry	Paket	Versionsvorgabe	Manifest
crates.io	anyhow	`1.0.102`	tiktoken-rs/Cargo.toml
crates.io	async-openai	`0.34.0`	tiktoken-rs/Cargo.toml
crates.io	base64	`0.22.1`	tiktoken-rs/Cargo.toml
crates.io	bstr	`1.13.1`	tiktoken-rs/Cargo.toml
crates.io	dhat	`0.3.2`	tiktoken-rs/Cargo.toml
crates.io	fancy-regex	`0.19.0`	tiktoken-rs/Cargo.toml
crates.io	regex	`1.13.1`	tiktoken-rs/Cargo.toml
crates.io	rustc-hash	`2`	tiktoken-rs/Cargo.toml

Alle Abhängigkeiten 8

Vollständig aufgelöster Abhängigkeitssatz aus dem GitHub-Abhängigkeitsgraphen: 8 direkte und 0 indirekte (transitive) Pakete. Die transitive Hülle ist vollständig, wenn das Repository eine Lockfile eincheckt.

Registry	Paket	Version	Beziehung
crates.io	anyhow	`—`	direkt
crates.io	async-openai	`—`	direkt
crates.io	base64	`—`	direkt
crates.io	bstr	`—`	direkt
crates.io	dhat	`—`	direkt
crates.io	fancy-regex	`—`	direkt
crates.io	regex	`—`	direkt
crates.io	rustc-hash	`—`	direkt

Abhängigkeits-Advisories nicht bewertet

Der Advisory-Abgleich konnte für diesen Bericht nicht ausgeführt werden: No resolved dependencies carried a version and a supported ecosystem

JSON-Rohbericht maschinenlesbar

Feedback

Stimmt etwas in diesem Bericht nicht, oder gibt es Gedanken dazu? Falsche Messungen, übersehene Tools, Ideen, Fragen — alles ist willkommen. Jede Nachricht wird gelesen und beantwortet.

Bewertungen sind Signale, keine Garantien. Sie spiegeln öffentlich sichtbare Praxis auf GitHub wider — kein Code-Audit und keine Sicherheitsgarantie.

Fehlende Daten werden ausgeschlossen und die Gewichte neu normiert, nie als null bewertet. Die Methodik ist versioniert und offen: Metriken v2.10.0, Schema v0.34.0 — vollständige Methodik · Metriken-Wiki.

Wie ein einzelnes Ergebnis im Gesamtregister steht: aggregierte Statistiken — crates.io.

Software-Gesundheitsindex

Bewertungsprofil

Eigentümerschaft

Paket-Ökosysteme

Metriken nach Kategorie

Eckdaten

Warnungen zur Datenerhebung

Weitere Details

Feedback

Verwandte Einträge