tollbench / toll-harness
Provider-neutral, self-hosted reference runtime for autonomous agents (Toll Bench harness).
tollbench/toll-harness tiene un índice de salud de 59 sobre 100, lo que lo sitúa en la banda Moderado. Su puntuación más alta es Engineering Quality (84/100) y la más baja, Sustainability & Governance (36/100). Se actualizó por última vez hoy. Una sola persona concentra la mayor parte del trabajo reciente.
Índice de salud del software
Las métricas se agrupan en categorías ponderadas sobre una escala estandarizada de 1 a 100. El resultado global parte de su media ponderada, calibrada contra la distribución del registro público para que las bandas tengan significado percentil; cuando la evidencia pública activa la Política de Jurisdicciones de Alto Riesgo, la calificación se ajusta y recibe un límite «En riesgo» de 34.
Perfil de puntuación
Cada eje es una categoría. La forma importa más que la media: un proyecto sano llena toda la figura, mientras que un perfil de picos y cráteres indica que la fortaleza en una dimensión enmascara el riesgo en otra.
El resultado global ponderado 56 se calibra a 59 en la escala publicada del índice (calibración del registro 2026-08-02).
Titularidad
Este repositorio está respaldado por una organización: una custodia compartida y responsable que puede sobrevivir a cualquier mantenedor individual.
Ecosistemas de paquetes
| Registro | Paquete | Versión | Descargas / mes | Versiones | Última publicación | Etiquetas |
|---|---|---|---|---|---|---|
| PyPI | toll-harness | 0.56.0 | 9002 | 78 | hace 0 días | agentsaiautonomous-agentsbedrockbenchmarkclaudellmopenaitoll-bench |
Métricas por categoría
Vitalidad
¿Está vivo el proyecto: se escribe código y se publican versiones?
Actividad de desarrollo
Cómo se puntúa
| 36/36 | Recencia de push — último push hace 0 días |
| 3.5/36 | Cadencia de commits — 5/52 semanas con commits |
| 17.5/18 | Volumen de commits — 88 commits en el último año |
| 0/10 | OpenSSF Scorecard: Maintained — project was created within the last 90 days. Please review its contents carefully |
Datos de entrada utilizados
| commits_last_year | 88 |
| human_commit_share | 1 |
| days_since_last_push | 0 |
| active_weeks_last_year | 5 |
Disciplina de publicación
Cómo se puntúa
| 27/27 | Publica versiones — 13 versiones publicadas |
| 36/36 | Recencia de las versiones — última versión hace 12 días |
| 27/27 | Cadencia de publicación — una versión cada ~1,9 días |
| 0/10 | OpenSSF Scorecard: Signed-Releases — sin datos |
Datos de entrada utilizados
| releases_count | 13 |
| latest_release_tag | v0.41.0 |
| releases_from_tags | no |
| days_since_latest_release | 12 |
| mean_days_between_releases | 1,9 |
Comunidad y Adopción
¿Tiene el proyecto usuarios, descargas, atención y unas condiciones acogedoras para quienes contribuyen?
Popularidad y adopción
Cómo se puntúa
| 0/60 | Estrellas — 0 estrellas |
| 0/25 | Forks — 0 forks |
| 0/15 | Observadores — 0 observadores |
Datos de entrada utilizados
| forks | 0 |
| stars | 0 |
| watchers | 0 |
| growth_state | unverified |
| growth_factor_pct | 100 |
| growth_unverified_reason | no_history |
Salud de la comunidad
Cómo se puntúa
| 22.5/22.5 | README |
| 22.5/22.5 | Licencia — licencia reconocida (Apache-2.0) |
| 18/18 | Guía CONTRIBUTING |
| 13.5/13.5 | Código de conducta |
| 0/7.2 | Plantilla de issues |
| 6.3/6.3 | Plantilla de PR |
Datos de entrada utilizados
| has_readme | sí |
| has_license | sí |
| readme_badges | 4 |
| has_contributing | sí |
| has_issue_template | no |
| has_code_of_conduct | sí |
| readme_badge_services | github.com, shields.io |
| has_pull_request_template | sí |
Cómo se puntúa
| 52.7/80 | Descargas mensuales — 9002 descargas/mes en pypi |
| 0/20 | Dependientes en el registro — no lo informa este ecosistema |
Datos de entrada utilizados
| packages | toll-harness |
| dependents | — |
| ecosystems | pypi |
| total_downloads | — |
| monthly_downloads | 9002 |
| unverified_packages_excluded | — |
Sostenibilidad y Gobernanza
¿Sobrevivirá el proyecto a sus personas: factor bus, capacidad de respuesta, quién lo respalda y mantenimiento del paquete?
Resiliencia de mantenedores (factor bus)
Cómo se puntúa
| 9/54 | Factor bus — la mitad de los commits recae en 1 contribuyente(s) |
| 9/22.5 | Distribución de commits — el principal contribuyente firma el 60% de los commits |
| 4.1/13.5 | Amplitud de contribuyentes — 3 contribuyentes |
| 0/10 | OpenSSF Scorecard: Contributors — project has 0 contributing companies or organizations -- score normalized to 0 |
Datos de entrada utilizados
| bus_factor | 1 |
| contributors_sampled | 3 |
| top_contributor_share | 0,6 |
Cómo se puntúa
| 0/42 | Resolución de issues — sin issues o sin datos |
| 0/30 | Aceptación de PR — sin PR decididos o sin datos |
| 0/13 | Newcomer PR acceptance — ningún PR de un contribuyente primerizo decidido en 30 d |
| 0/15 | OpenSSF Scorecard: Code-Review — Found 0/30 approved changesets -- score normalized to 0 |
Datos de entrada utilizados
| merged_prs | 0 |
| open_issues | 0 |
| closed_issues | 0 |
| prs_merged_7d | 0 |
| prs_decided_7d | 0 |
| prs_merged_30d | 0 |
| prs_decided_30d | 0 |
| issue_closed_ratio | — |
| closed_unmerged_prs | 0 |
| first_time_authors_30d | 0 |
| first_time_prs_merged_30d | 0 |
| first_time_prs_decided_30d | 0 |
Propiedad y custodia
Cómo se puntúa
| 30/30 | Respaldo de la propiedad — propiedad de una organización |
| 0/20 | Dominio verificado |
| 0/25 | Alcance del propietario — 0 seguidores de tollbench |
| 4.6/25 | Trayectoria — 3 repos públicos, cuenta de ~0 años |
Datos de entrada utilizados
| followers | 0 |
| owner_type | Organization |
| is_verified | no |
| owner_login | tollbench |
| public_repos | 3 |
| account_age_days | 36 |
Mantenimiento de paquetes
Cómo se puntúa
| 25/25 | Publicado y resoluble — 1 paquete(s) en pypi |
| 35/35 | Recencia de publicación — última publicación hace 0 días |
| 20/20 | Historial de versiones — 78 versiones en el registro |
| 20/20 | No obsoleto — activo, ni obsoleto ni retirado |
Datos de entrada utilizados
| packages | toll-harness |
| ecosystems | pypi |
| any_deprecated | no |
| min_days_since_publish | 0 |
Calidad de Ingeniería
¿Existen unas prácticas mínimas de ingeniería y documentación?
Prácticas de ingeniería
Cómo se puntúa
| 24/24 | Flujos de trabajo de CI — 2 flujo(s) de trabajo |
| 24/24 | Pruebas presentes |
| 16/16 | Configuración de linter — pyproject.toml ([tool.ruff]) |
| 0/9.6 | Hooks de pre-commit |
| 0/6.4 | .editorconfig |
| 0/20 | OpenSSF Scorecard: CI-Tests — sin datos |
Datos de entrada utilizados
| has_ci | sí |
| has_tests | sí |
| has_editorconfig | no |
| has_linter_config | sí |
| has_precommit_config | no |
Documentación
Cómo se puntúa
| 30/30 | README |
| 25/25 | Directorio de documentación |
| 15/15 | Sitio de documentación / página del proyecto — https://tollbench.com |
| 10/10 | Descripción del repositorio |
| 10/10 | Topics — 9 topics |
| 0/10 | Wiki |
Datos de entrada utilizados
| topics | ai-agents, autonomous-agents, aws-bedrock, benchmark, claude, llm, openai, python, toll-bench |
| has_wiki | no |
| homepage | https://tollbench.com |
| docs_site | https://tollbench.com |
| has_readme | sí |
| has_docs_dir | sí |
| has_description | sí |
Seguridad
¿Son sólidas las prácticas visibles de seguridad y de cadena de suministro, sin exposición jurisdiccional de alto riesgo sin resolver?
Postura de seguridad
Cómo se puntúa
| 7.5/7.5 | Binary-Artifacts — no binaries found in the repo |
| 0/7.5 | Branch-Protection — branch protection not enabled on development/release branches |
| 0/2.5 | CI-Tests — sin datos |
| 0/2.5 | CII-Best-Practices — no effort to earn an OpenSSF best practices badge detected |
| 0/7.5 | Code-Review — Found 0/30 approved changesets -- score normalized to 0 |
| 0/2.5 | Contributors — project has 0 contributing companies or organizations -- score normalized to 0 |
| 10/10 | Dangerous-Workflow — no dangerous workflow patterns detected |
| 0/7.5 | Dependency-Update-Tool — no update tool detected |
| 0/5 | Fuzzing — project is not fuzzed |
| 2.5/2.5 | Licencia — license file detected |
| 0/7.5 | Maintained — project was created within the last 90 days. Please review its contents carefully |
| 5/5 | Packaging — packaging workflow detected |
| 0/5 | Pinned-Dependencies — dependency not pinned by hash detected -- score normalized to 0 |
| 0/5 | SAST — no SAST tool detected |
| 5/5 | Security-Policy — security policy file detected |
| 0/7.5 | Signed-Releases — sin datos |
| 0/7.5 | Token-Permissions — detected GitHub workflow tokens with excessive permissions |
| 7.5/7.5 | Vulnerabilities — 0 existing vulnerabilities detected |
Datos de entrada utilizados
| source | openssf_scorecard |
| checks_evaluated | 16 |
| scorecard_version | v5.5.0 |
| checks_inconclusive | 2 |
| scorecard_aggregate | 3,9 |
Preparación para IA
¿Hasta qué punto está el repositorio preparado para desarrollarse y mantenerse con agentes de codificación de IA? Tiene un peso deliberadamente pequeño (4%): las herramientas para agentes son una señal real de mantenimiento, pero un repositorio sin ninguna puede alcanzar igualmente 100/100.
Contexto y guía para agentes
Cómo se puntúa
| 0/45 | Instrucciones para agentes — sin CLAUDE.md / AGENTS.md / reglas de editor |
| 15/15 | Documentación legible por máquinas (llms.txt) — llms.txt servido por el sitio web del proyecto (https://tollbench.com/llms.txt) |
| 2.3/40 | Historial de commits legible — 4 de 91 commits humanos declaran su intención (asunto estructurado o cuerpo explicativo) |
Datos de entrada utilizados
| has_llms_txt | sí |
| llms_txt_url | https://tollbench.com/llms.txt |
| legible_history_share | 0,044 |
| agent_instruction_files | — |
| agent_instruction_max_bytes | — |
Cómo se puntúa
| 0/18 | Arranque con un solo comando |
| 22/22 | Pruebas automatizadas |
| 11/11 | Configuración de lint / formato — pyproject.toml ([tool.ruff]) |
| 11/11 | Verificación estática de tipos — src/toll_harness/py.typed |
| 0/10 | Entorno reproducible |
| 4.4/10 | Práctica demostrada con agentes — 2 de los últimos 91 commits con autoría o crédito de agente |
| 0/8 | Mantenimiento automatizado — no se observan actualizaciones automáticas de dependencias |
| 0/10 | OpenSSF Scorecard: Pinned-Dependencies — dependency not pinned by hash detected -- score normalized to 0 |
Datos de entrada utilizados
| has_nix | no |
| has_tests | sí |
| lockfiles | — |
| has_dockerfile | no |
| typed_language | no |
| bootstrap_files | — |
| has_devcontainer | no |
| has_linter_config | sí |
| typecheck_configs | src/toll_harness/py.typed |
| agent_commit_share | 0,022 |
| toolchain_manifests | — |
| dependency_bot_commit_share | 0 |
Cómo se puntúa
| 27/45 | Código verificable por tipos — Python con configuración de verificación de tipos (src/toll_harness/py.typed) |
| 52.1/55 | Tamaños de archivo manejables — 6/115 archivos fuente de más de 60 KB |
Datos de entrada utilizados
| primary_language | Python |
| largest_source_bytes | 237.969 |
| source_files_sampled | 115 |
| oversized_source_files | 6 |
Interfaces legibles por máquina
Cómo se puntúa
| 0/40 | Esquema de API (OpenAPI/GraphQL/proto) — no aplicable a este tipo de software |
| 0/20 | Servidor MCP — no aplicable a este tipo de software |
| 40/40 | Ejemplos ejecutables — examples |
Datos de entrada utilizados
| example_dirs | examples |
| has_mcp_signal | no |
| api_schema_files | — |
| interfaces_expected_of | — |
Datos clave
Advertencias de recopilación de datos
- GitHub dependency-graph SBOM unavailable (404); the dependency graph may be disabled for this repository
- deps.dev does not index pypi:toll-harness@0.56.0; advisories assessed against the repository dependency graph instead
Más detalle
OpenSSF Scorecard 3.9 / 10
Evaluación de seguridad independiente y agnóstica en cuanto a herramientas, procedente del proyecto de código abierto OpenSSF Scorecard. Cada comprobación premia una práctica de seguridad, no la herramienta de un proveedor concreto. Las comprobaciones que Scorecard no pudo determinar se marcan como n/d y se excluyen de la puntuación de seguridad (nunca se cuentan como cero).
| 10 | Binary-Artifacts | no binaries found in the repo |
| 0 | Branch-Protection | branch protection not enabled on development/release branches |
| n/d | CI-Tests | no pull request found |
| 0 | CII-Best-Practices | no effort to earn an OpenSSF best practices badge detected |
| 0 | Code-Review | Found 0/30 approved changesets -- score normalized to 0 |
| 0 | Contributors | project has 0 contributing companies or organizations -- score normalized to 0 |
| 10 | Dangerous-Workflow | no dangerous workflow patterns detected |
| 0 | Dependency-Update-Tool | no update tool detected |
| 0 | Fuzzing | project is not fuzzed |
| 10 | License | license file detected |
| 0 | Maintained | project was created within the last 90 days. Please review its contents carefully |
| 10 | Packaging | packaging workflow detected |
| 0 | Pinned-Dependencies | dependency not pinned by hash detected -- score normalized to 0 |
| 0 | SAST | no SAST tool detected |
| 10 | Security-Policy | security policy file detected |
| n/d | Signed-Releases | no releases found |
| 0 | Token-Permissions | detected GitHub workflow tokens with excessive permissions |
| 10 | Vulnerabilities | 0 existing vulnerabilities detected |
Dependencias directas 2
| Registro | Paquete | Restricción de versión | Manifiesto |
|---|---|---|---|
| PyPI | jsonschema | >=4.23,<5 | pyproject.toml |
| PyPI | PyYAML | >=6.0,<7 | pyproject.toml |
Todas las dependencias no recopilado
No fue posible recopilar el conjunto de dependencias resuelto para este informe: GitHub dependency-graph SBOM unavailable (404); the dependency graph may be disabled for this repository
Informe JSON sin procesar legible por máquina
Comentarios
¿Algo no cuadra en este informe, o hay ideas que compartir? Mediciones erróneas, herramientas no detectadas, ideas, preguntas: todo es bienvenido. Cada mensaje se lee y recibe respuesta.
Las puntuaciones son señales, no garantías. Reflejan prácticas públicamente visibles en GitHub; no son una auditoría de código ni una garantía de seguridad.
Los datos ausentes se excluyen y los pesos se renormalizan; nunca se puntúan como cero. La metodología es versionada y abierta: métricas v2.10.0, esquema v0.34.0 — metodología completa · wiki de métricas.
Cómo se sitúa un resultado dentro del registro general: estadísticas agregadas — PyPI.