zurawiki / tiktoken-rs
Ready-made tokenizer library for working with GPT and tiktoken
zurawiki/tiktoken-rs tiene un índice de salud de 80 sobre 100, lo que lo sitúa en la banda Excelente. Su puntuación más alta es Engineering Quality (80/100) y la más baja, Sustainability & Governance (53/100). Se actualizó por última vez hace 1 día. Una sola persona concentra la mayor parte del trabajo reciente.
Índice de salud del software
Las métricas se agrupan en categorías ponderadas sobre una escala estandarizada de 1 a 100. El resultado global parte de su media ponderada, calibrada contra la distribución del registro público para que las bandas tengan significado percentil; cuando la evidencia pública activa la Política de Jurisdicciones de Alto Riesgo, la calificación se ajusta y recibe un límite «En riesgo» de 34.
Perfil de puntuación
Cada eje es una categoría. La forma importa más que la media: un proyecto sano llena toda la figura, mientras que un perfil de picos y cráteres indica que la fortaleza en una dimensión enmascara el riesgo en otra.
El resultado global ponderado 68 se calibra a 80 en la escala publicada del índice (calibración del registro 2026-08-02).
Titularidad
Este repositorio pertenece a una cuenta personal. Un proyecto con un único propietario conlleva más riesgo de continuidad que uno respaldado por una organización.
Ecosistemas de paquetes
| Registro | Paquete | Versión | Descargas / mes | Versiones | Última publicación | Etiquetas |
|---|---|---|---|---|---|---|
| crates.io | tiktoken-rs | 0.12.1 | 2.451.346 | 36 | hace 1 día | aibpegptopenai |
Métricas por categoría
Vitalidad
¿Está vivo el proyecto: se escribe código y se publican versiones?
Actividad de desarrollo
Cómo se puntúa
| 36/36 | Recencia de push — último push hace 1 días |
| 4.2/36 | Cadencia de commits — 6/52 semanas con commits |
| 14.5/18 | Volumen de commits — 40 commits en el último año |
| 5/10 | OpenSSF Scorecard: Maintained — 7 commit(s) and 0 issue activity found in the last 90 days -- score normalized to 5 |
Datos de entrada utilizados
| commits_last_year | 40 |
| human_commit_share | 0,83 |
| days_since_last_push | 1 |
| active_weeks_last_year | 6 |
Disciplina de publicación
Cómo se puntúa
| 27/27 | Publica versiones — 33 versiones publicadas |
| 36/36 | Recencia de las versiones — última versión hace 1 días |
| 19.8/27 | Cadencia de publicación — una versión cada ~116,1 días |
| 0/10 | OpenSSF Scorecard: Signed-Releases — sin datos |
Datos de entrada utilizados
| releases_count | 33 |
| latest_release_tag | v0.12.1 |
| releases_from_tags | no |
| days_since_latest_release | 1 |
| mean_days_between_releases | 116,1 |
Comunidad y Adopción
¿Tiene el proyecto usuarios, descargas, atención y unas condiciones acogedoras para quienes contribuyen?
Popularidad y adopción
Cómo se puntúa
| 42.4/60 | Estrellas — 411 estrellas |
| 15.6/25 | Forks — 75 forks |
| 2.7/15 | Observadores — 4 observadores |
Datos de entrada utilizados
| forks | 75 |
| stars | 411 |
| watchers | 4 |
| growth_state | unverified |
| growth_factor_pct | 100 |
| growth_unverified_reason | no_history |
Salud de la comunidad
Cómo se puntúa
| 22.5/22.5 | README |
| 22.5/22.5 | Licencia — licencia reconocida (MIT) |
| 18/18 | Guía CONTRIBUTING |
| 13.5/13.5 | Código de conducta |
| 0/7.2 | Plantilla de issues |
| 0/6.3 | Plantilla de PR |
Datos de entrada utilizados
| has_readme | sí |
| has_license | sí |
| readme_badges | 0 |
| has_contributing | sí |
| has_issue_template | no |
| has_code_of_conduct | sí |
| readme_badge_services | — |
| has_pull_request_template | no |
Adopción en el ecosistema (descargas)
Cómo se puntúa
| 80/80 | Descargas mensuales — 2.451.346 descargas/mes en crates |
| 0/20 | Dependientes en el registro — no lo informa este ecosistema |
Datos de entrada utilizados
| packages | tiktoken-rs |
| dependents | — |
| ecosystems | crates |
| total_downloads | 18.097.302 |
| monthly_downloads | 2.451.346 |
| unverified_packages_excluded | — |
Sostenibilidad y Gobernanza
¿Sobrevivirá el proyecto a sus personas: factor bus, capacidad de respuesta, quién lo respalda y mantenimiento del paquete?
Resiliencia de mantenedores (factor bus)
Cómo se puntúa
| 9/54 | Factor bus — la mitad de los commits recae en 1 contribuyente(s) |
| 3.6/22.5 | Distribución de commits — el principal contribuyente firma el 84% de los commits |
| 13.5/13.5 | Amplitud de contribuyentes — 17 contribuyentes |
| 0/10 | OpenSSF Scorecard: Contributors — project has 0 contributing companies or organizations -- score normalized to 0 |
Datos de entrada utilizados
| bus_factor | 1 |
| contributors_sampled | 17 |
| top_contributor_share | 0,84 |
Capacidad de respuesta a issues y PR
Cómo se puntúa
| 38.9/42 | Resolución de issues — 93% de issues cerradas |
| 18/30 | Aceptación de PR — 81/135 PR decididos fusionados |
| 0/13 | Newcomer PR acceptance — 0/1 PR de contribuyentes primerizos fusionados en 30 d |
| 0/15 | OpenSSF Scorecard: Code-Review — Found 1/28 approved changesets -- score normalized to 0 |
Datos de entrada utilizados
| merged_prs | 81 |
| open_issues | 2 |
| closed_issues | 25 |
| prs_merged_7d | 6 |
| prs_decided_7d | 7 |
| prs_merged_30d | 6 |
| prs_decided_30d | 7 |
| issue_closed_ratio | 0,926 |
| closed_unmerged_prs | 54 |
| first_time_authors_30d | 1 |
| first_time_prs_merged_30d | 0 |
| first_time_prs_decided_30d | 1 |
Propiedad y custodia
Cómo se puntúa
| 10/30 | Respaldo de la propiedad — cuenta personal (usuario) |
| 0/20 | Dominio verificado — no aplicable a cuentas de usuario |
| 0/25 | Alcance del propietario — 0 seguidores de zurawiki |
| 24/25 | Trayectoria — 43 repos públicos, cuenta de ~14 años |
Datos de entrada utilizados
| followers | 0 |
| owner_type | User |
| is_verified | — |
| owner_login | zurawiki |
| public_repos | 43 |
| account_age_days | 5329 |
Mantenimiento de paquetes
Cómo se puntúa
| 25/25 | Publicado y resoluble — 1 paquete(s) en crates |
| 35/35 | Recencia de publicación — última publicación hace 1 días |
| 20/20 | Historial de versiones — 36 versiones en el registro |
| 20/20 | No obsoleto — activo, ni obsoleto ni retirado |
Datos de entrada utilizados
| packages | tiktoken-rs |
| ecosystems | crates |
| any_deprecated | no |
| min_days_since_publish | 1 |
Calidad de Ingeniería
¿Existen unas prácticas mínimas de ingeniería y documentación?
Prácticas de ingeniería
Cómo se puntúa
| 24/24 | Flujos de trabajo de CI — 2 flujo(s) de trabajo |
| 24/24 | Pruebas presentes |
| 16/16 | Configuración de linter — rustfmt.toml |
| 0/9.6 | Hooks de pre-commit |
| 6.4/6.4 | .editorconfig |
| 20/20 | OpenSSF Scorecard: CI-Tests — 28 out of 28 merged PRs checked by a CI test -- score normalized to 10 |
Datos de entrada utilizados
| has_ci | sí |
| has_tests | sí |
| has_editorconfig | sí |
| has_linter_config | sí |
| has_precommit_config | no |
Documentación
Cómo se puntúa
| 30/30 | README |
| 0/25 | Directorio de documentación |
| 15/15 | Sitio de documentación / página del proyecto — https://docs.rs/crate/tiktoken-rs/ |
| 10/10 | Descripción del repositorio |
| 10/10 | Topics — 4 topics |
| 0/10 | Wiki |
Datos de entrada utilizados
| topics | bpe, openai, rust, tokenizer |
| has_wiki | no |
| homepage | — |
| docs_site | https://docs.rs/crate/tiktoken-rs/ |
| has_readme | sí |
| has_docs_dir | no |
| has_description | sí |
Seguridad
¿Son sólidas las prácticas visibles de seguridad y de cadena de suministro, sin exposición jurisdiccional de alto riesgo sin resolver?
Postura de seguridad
Cómo se puntúa
| 7.5/7.5 | Binary-Artifacts — no binaries found in the repo |
| 0/7.5 | Branch-Protection — branch protection not enabled on development/release branches |
| 2.5/2.5 | CI-Tests — 28 out of 28 merged PRs checked by a CI test -- score normalized to 10 |
| 0/2.5 | CII-Best-Practices — no effort to earn an OpenSSF best practices badge detected |
| 0/7.5 | Code-Review — Found 1/28 approved changesets -- score normalized to 0 |
| 0/2.5 | Contributors — project has 0 contributing companies or organizations -- score normalized to 0 |
| 10/10 | Dangerous-Workflow — no dangerous workflow patterns detected |
| 7.5/7.5 | Dependency-Update-Tool — update tool detected |
| 0/5 | Fuzzing — project is not fuzzed |
| 2.5/2.5 | Licencia — license file detected |
| 3.8/7.5 | Maintained — 7 commit(s) and 0 issue activity found in the last 90 days -- score normalized to 5 |
| 0/5 | Packaging — sin datos |
| 5/5 | Pinned-Dependencies — all dependencies are pinned |
| 0/5 | SAST — SAST tool is not run on all commits -- score normalized to 0 |
| 5/5 | Security-Policy — security policy file detected |
| 0/7.5 | Signed-Releases — sin datos |
| 0/7.5 | Token-Permissions — detected GitHub workflow tokens with excessive permissions |
| 7.5/7.5 | Vulnerabilities — 0 existing vulnerabilities detected |
Datos de entrada utilizados
| source | openssf_scorecard |
| checks_evaluated | 16 |
| scorecard_version | v5.5.0 |
| checks_inconclusive | 2 |
| scorecard_aggregate | 5,5 |
Preparación para IA
¿Hasta qué punto está el repositorio preparado para desarrollarse y mantenerse con agentes de codificación de IA? Tiene un peso deliberadamente pequeño (4%): las herramientas para agentes son una señal real de mantenimiento, pero un repositorio sin ninguna puede alcanzar igualmente 100/100.
Contexto y guía para agentes
Cómo se puntúa
| 0/45 | Instrucciones para agentes — sin CLAUDE.md / AGENTS.md / reglas de editor |
| 0/15 | Documentación legible por máquinas (llms.txt) |
| 29.6/40 | Historial de commits legible — 46 de 83 commits humanos declaran su intención (asunto estructurado o cuerpo explicativo) |
Datos de entrada utilizados
| has_llms_txt | no |
| llms_txt_url | — |
| legible_history_share | 0,554 |
| agent_instruction_files | — |
| agent_instruction_max_bytes | — |
Cómo se puntúa
| 18/18 | Arranque con un solo comando — Justfile |
| 22/22 | Pruebas automatizadas |
| 11/11 | Configuración de lint / formato — rustfmt.toml |
| 11/11 | Verificación estática de tipos — Rust (tipado estático) |
| 0/10 | Entorno reproducible |
| 10/10 | Práctica demostrada con agentes — 15 de los últimos 100 commits con autoría o crédito de agente |
| 8/8 | Mantenimiento automatizado — 17 de los últimos 100 commits son actualizaciones automáticas de dependencias |
| 10/10 | OpenSSF Scorecard: Pinned-Dependencies — all dependencies are pinned |
Datos de entrada utilizados
| has_nix | no |
| has_tests | sí |
| lockfiles | — |
| has_dockerfile | no |
| typed_language | sí |
| bootstrap_files | Justfile |
| has_devcontainer | no |
| has_linter_config | sí |
| typecheck_configs | — |
| agent_commit_share | 0,15 |
| toolchain_manifests | Cargo.toml, tiktoken-rs/Cargo.toml |
| dependency_bot_commit_share | 0,17 |
Legibilidad del código para modelos
Cómo se puntúa
| 45/45 | Código verificable por tipos — Rust (tipado estático) |
| 55/55 | Tamaños de archivo manejables — 0/17 archivos fuente de más de 60 KB |
Datos de entrada utilizados
| primary_language | Rust |
| largest_source_bytes | 36.603 |
| source_files_sampled | 17 |
| oversized_source_files | 0 |
Interfaces legibles por máquina
Cómo se puntúa
| 0/40 | Esquema de API (OpenAPI/GraphQL/proto) — no aplicable a este tipo de software |
| 0/20 | Servidor MCP — no aplicable a este tipo de software |
| 40/40 | Ejemplos ejecutables — examples |
Datos de entrada utilizados
| example_dirs | examples |
| has_mcp_signal | no |
| api_schema_files | — |
| interfaces_expected_of | — |
Datos clave
Advertencias de recopilación de datos
- Star history unavailable: GitHub GraphQL error: Resource not accessible by personal access token
- No resolved dependencies carried a version and a supported ecosystem
Más detalle
Historial de estrellas y forks 0 ★ / 75 ⇿
Cuándo se añadió cada estrella y fork, recopilado de GitHub y agrupado por día. El crecimiento acumulado se sitúa justo encima de las adiciones diarias que lo componen, de modo que ambos se leen en conjunto: la acumulación orgánica sostenida no se parece en nada a un pico abrupto y efímero. Cuando esa diferencia es medible, se informa como autenticidad del crecimiento.
Cada punto abarca 4 días.
OpenSSF Scorecard 5.5 / 10
Evaluación de seguridad independiente y agnóstica en cuanto a herramientas, procedente del proyecto de código abierto OpenSSF Scorecard. Cada comprobación premia una práctica de seguridad, no la herramienta de un proveedor concreto. Las comprobaciones que Scorecard no pudo determinar se marcan como n/d y se excluyen de la puntuación de seguridad (nunca se cuentan como cero).
| 10 | Binary-Artifacts | no binaries found in the repo |
| 0 | Branch-Protection | branch protection not enabled on development/release branches |
| 10 | CI-Tests | 28 out of 28 merged PRs checked by a CI test -- score normalized to 10 |
| 0 | CII-Best-Practices | no effort to earn an OpenSSF best practices badge detected |
| 0 | Code-Review | Found 1/28 approved changesets -- score normalized to 0 |
| 0 | Contributors | project has 0 contributing companies or organizations -- score normalized to 0 |
| 10 | Dangerous-Workflow | no dangerous workflow patterns detected |
| 10 | Dependency-Update-Tool | update tool detected |
| 0 | Fuzzing | project is not fuzzed |
| 10 | License | license file detected |
| 5 | Maintained | 7 commit(s) and 0 issue activity found in the last 90 days -- score normalized to 5 |
| n/d | Packaging | packaging workflow not detected |
| 10 | Pinned-Dependencies | all dependencies are pinned |
| 0 | SAST | SAST tool is not run on all commits -- score normalized to 0 |
| 10 | Security-Policy | security policy file detected |
| n/d | Signed-Releases | no releases found |
| 0 | Token-Permissions | detected GitHub workflow tokens with excessive permissions |
| 10 | Vulnerabilities | 0 existing vulnerabilities detected |
Dependencias directas 8
| Registro | Paquete | Restricción de versión | Manifiesto |
|---|---|---|---|
| crates.io | anyhow | 1.0.102 | tiktoken-rs/Cargo.toml |
| crates.io | async-openai | 0.34.0 | tiktoken-rs/Cargo.toml |
| crates.io | base64 | 0.22.1 | tiktoken-rs/Cargo.toml |
| crates.io | bstr | 1.13.1 | tiktoken-rs/Cargo.toml |
| crates.io | dhat | 0.3.2 | tiktoken-rs/Cargo.toml |
| crates.io | fancy-regex | 0.19.0 | tiktoken-rs/Cargo.toml |
| crates.io | regex | 1.13.1 | tiktoken-rs/Cargo.toml |
| crates.io | rustc-hash | 2 | tiktoken-rs/Cargo.toml |
Todas las dependencias 8
Conjunto completo de dependencias resueltas según el grafo de dependencias de GitHub: 8 paquetes directos y 0 indirectos (transitivos). El cierre transitivo es completo cuando el repositorio incluye un lockfile.
| Registro | Paquete | Versión | Relación |
|---|---|---|---|
| crates.io | anyhow | — | directa |
| crates.io | async-openai | — | directa |
| crates.io | base64 | — | directa |
| crates.io | bstr | — | directa |
| crates.io | dhat | — | directa |
| crates.io | fancy-regex | — | directa |
| crates.io | regex | — | directa |
| crates.io | rustc-hash | — | directa |
Avisos de dependencias sin evaluar
El cotejo de avisos no pudo ejecutarse para este informe: No resolved dependencies carried a version and a supported ecosystem
Informe JSON sin procesar legible por máquina
Comentarios
¿Algo no cuadra en este informe, o hay ideas que compartir? Mediciones erróneas, herramientas no detectadas, ideas, preguntas: todo es bienvenido. Cada mensaje se lee y recibe respuesta.
Las puntuaciones son señales, no garantías. Reflejan prácticas públicamente visibles en GitHub; no son una auditoría de código ni una garantía de seguridad.
Los datos ausentes se excluyen y los pesos se renormalizan; nunca se puntúan como cero. La metodología es versionada y abierta: métricas v2.10.0, esquema v0.34.0 — metodología completa · wiki de métricas.
Cómo se sitúa un resultado dentro del registro general: estadísticas agregadas — crates.io.