Публічний реєстр
Звіт про здоров'я програмного забезпеченнясхема 0.34.0 · метрики 2.10.0 · 2026-10-18 22:08 UTC

Precisa-Saude / medbench-brasil

Leaderboard reproduzível de LLMs em provas médicas brasileiras (Revalida, INEP) — zero-shot, 3 execuções, análise de contaminação

TypeScriptВласна ліцензія★ 2 зірки⑂ 1 форкз квіт. 2026 р.Переглянути на GitHub ↗
ТипІнструмент командного рядкаБібліотекаВебінтерфейсяк це визначено
#brazil#brazilian-portuguese#contamination-detection#healthcare-ai#inep#leaderboard#llm-benchmark#llm-evaluation#medical-ai#medical-education#medical-llm#monorepo#open-source#portuguese#reproducible-research#typescript#zero-shot#enamed#revalida

Precisa-Saude/medbench-brasil має індекс здоров’я 77 зі 100, що відповідає смузі «Добрий». Найвищий показник — Engineering Quality (94/100), найнижчий — Community & Adoption (45/100). Останнє оновлення було 8 днів тому. Більшість нещодавньої роботи виконує один учасник.

77
загалом / 100
Добрий

Індекс здоров'я програмного забезпечення

Метрики згруповано у зважені категорії на шкалі 1–100. Загальна оцінка починається як їхнє зважене середнє, відкаліброване за розподілом публічного реєстру, тож діапазони мають перцентильний зміст; коли публічні дані активують Політику юрисдикцій високого ризику, рейтинг коригується й отримує верхню межу 34 («У зоні ризику»).

77
Винятковий93-100Верхній щабель реєстру (≈ топ-5%); відповідає практично всім перевіреним критеріям
Відмінний80-92Сильний за всіма напрямами; незначні прогалини
Добрий65-79Здоровий; прогалини обмежені та керовані
Помірний50-64Прийнятний, але з помітними прогалинами; рекомендовано перевірку
Слабкий35-49Суттєві недоліки в кількох сферах
У зоні ризику20-34Суттєві слабкі місця; впровадження потребує обережності
Критичний1-19Серйозні проблеми (покинутий, єдиний мейнтейнер, без базової гігієни)
ЖиттєздатністьСпільнота тавпровадженняСталість таврядуванняІнженернаякістьБезпекаГотовність доШІ

Профіль оцінок

Кожна вісь — окрема категорія. Форма важить більше, ніж середнє: здоровий об'єкт заповнює всю фігуру, тоді як профіль із піками та провалами означає, що сила в одному вимірі маскує ризик в іншому.

Зважений загальний бал 66 калібровано до 77 за шкалою опублікованого індексу (калібрування реєстру 2026-08-02).

Власність

Precisa SaúdeОрганізація
5 підписників10 публічних репозиторіївз січ. 2026 р.

За цим репозиторієм стоїть організація — спільна, підзвітна опіка, здатна пережити будь-якого окремого мейнтейнера.

Пакетні екосистеми

РеєстрПакетВерсіяЗавантажень / місВерсіїОстання публікаціяТеги
npm@precisa-saude/medbench-dataset2.3.01 2961817 днів томуrevalidamedical-examsbrazilllm-benchmarkdataset
npm@precisa-saude/medbench-harness2.3.01 2571817 днів томуllmbenchmarkevaluationmedicalbrazilrevalida

Метрики за категоріями

Життєздатність

Чи живий проєкт — чи пишеться код і чи виходять релізи?

79Добрий · 21% загального індексу

Активність розробки

65Добрий
Як обчислюється оцінка
28.8/36Свіжість push — останній push 8 дн. тому
8.3/36Ритм комітів — 12/52 тижнів із комітами
18/18Обсяг комітів — 148 комітів за останній рік
10/10OpenSSF Scorecard: Maintained — 30 commit(s) and 8 issue activity found in the last 90 days -- score normalized to 10
Використані вхідні дані
commits_last_year148
human_commit_share0,99
days_since_last_push8
active_weeks_last_year12

Дисципліна релізів

100Винятковий
Як обчислюється оцінка
27/27Випускає релізи — опубліковано 18 релізів
36/36Свіжість релізів — останній реліз 17 дн. тому
27/27Ритм релізів — реліз кожні ~12,5 дн.
0/10OpenSSF Scorecard: Signed-Releases — немає даних
Використані вхідні дані
releases_count18
latest_release_tagv2.3.0
releases_from_tagsні
days_since_latest_release17
mean_days_between_releases12,5
Виключено з оцінювання (немає даних або не застосовно): OpenSSF Scorecard: Signed-Releases. Залишкові ваги перенормовано.

Спільнота та впровадження

Чи має проєкт користувачів, завантаження, увагу та влаштовані умови для контриб’юторів?

45Слабкий · 17% загального індексу

Популярність і впровадження

1Критичний
Як обчислюється оцінка
0/60Зірки — 2 зірок
0/25Форки — 1 форків
0/15Спостерігачі — 0 спостерігачів
Використані вхідні дані
forks1
stars2
watchers0
growth_stateunverified
growth_factor_pct100
growth_unverified_reasonno_history

Здоров'я спільноти

86Відмінний
Як обчислюється оцінка
22.5/22.5README
16.9/22.5Ліцензія — файл ліцензії наявний, не є визнаною ліцензією
18/18Настанови CONTRIBUTING
13.5/13.5Кодекс поведінки
0/7.2Шаблон issue
6.3/6.3Шаблон PR
Використані вхідні дані
has_readmeтак
has_licenseтак
readme_badges1
has_contributingтак
has_issue_templateні
has_code_of_conductтак
readme_badge_servicesshields.io
has_pull_request_templateтак

Впровадження в екосистемі (завантаження)

57Помірний
Як обчислюється оцінка
45.4/80Щомісячні завантаження — 2 553 завантажень/місяць у npm
0/20Залежні пакети в реєстрі — ця екосистема цього не повідомляє
Використані вхідні дані
packages@precisa-saude/medbench-dataset, @precisa-saude/medbench-harness
dependents—
ecosystemsnpm
total_downloads—
monthly_downloads2 553
unverified_packages_excluded—
Виключено з оцінювання (немає даних або не застосовно): Залежні пакети в реєстрі. Залишкові ваги перенормовано.

Сталість та врядування

Чи переживе проєкт своїх людей — бас-фактор, реактивність, хто за ним стоїть і як супроводжуються пакети?

53Помірний · 23% загального індексу

Стійкість мейнтейнерів (бас-фактор)

24У зоні ризику
Як обчислюється оцінка
9/54Бас-фактор — на 1 контриб’ютор(ів) припадає половина всіх комітів
2.7/22.5Розподіл комітів — головний контриб’ютор — автор 88% комітів
2.7/13.5Широта контриб’юторів — 2 контриб’юторів
10/10OpenSSF Scorecard: Contributors — project has 3 contributing companies or organizations -- score normalized to 10
Використані вхідні дані
bus_factor1
contributors_sampled2
top_contributor_share0,878

Реактивність на issue та PR

59Помірний
Як обчислюється оцінка
30.5/42Вирішення issue — закрито 73% issue
28.8/30Прийняття PR — злито 72/75 вирішених PR
0/13Newcomer PR acceptance — злито 0/1 PR від новачків за 30 дн.
0/15OpenSSF Scorecard: Code-Review — Found 0/30 approved changesets -- score normalized to 0
Використані вхідні дані
merged_prs72
open_issues3
closed_issues8
prs_merged_7d0
prs_decided_7d0
prs_merged_30d21
prs_decided_30d22
issue_closed_ratio0,727
closed_unmerged_prs3
first_time_authors_30d1
first_time_prs_merged_30d0
first_time_prs_decided_30d1

Власність та опіка

45Слабкий
Як обчислюється оцінка
30/30Підтримка власника — у власності організації
0/20Верифікований домен
5.6/25Охоплення власника — 5 підписників у Precisa-Saude
9.2/25Послужний список — 10 публічних репозиторіїв, вік облікового запису ~0 р.
Використані вхідні дані
followers5
owner_typeOrganization
is_verifiedні
owner_loginPrecisa-Saude
public_repos10
account_age_days288

Супровід пакетів

100Винятковий
Як обчислюється оцінка
25/25Опубліковано й доступно — 2 пакет(ів) у npm
35/35Свіжість публікацій — остання публікація 17 дн. тому
20/20Історія версій — 18 опублікованих версій
20/20Не застарілий — активний, не deprecated і не yanked
Використані вхідні дані
packages@precisa-saude/medbench-dataset, @precisa-saude/medbench-harness
ecosystemsnpm
any_deprecatedні
min_days_since_publish17

Інженерна якість

Чи наявні базові інженерні практики та документація?

94Винятковий · 19% загального індексу

Інженерні практики

90Відмінний
Як обчислюється оцінка
24/24Процеси CI — 5 процес(ів) CI
24/24Наявні тести
16/16Конфігурація лінтера — eslint.config.js
0/9.6Pre-commit-хуки
6.4/6.4.editorconfig
20/20OpenSSF Scorecard: CI-Tests — 23 out of 23 merged PRs checked by a CI test -- score normalized to 10
Використані вхідні дані
has_ciтак
has_testsтак
has_editorconfigтак
has_linter_configтак
has_precommit_configні

Документація

100Винятковий
Як обчислюється оцінка
30/30README
25/25Каталог документації
15/15Сайт документації / домашня сторінка — https://medbench-brasil.ia.br
10/10Опис репозиторію
10/10Теми — 19 тем
10/10Wiki
Використані вхідні дані
topicsbrazil, brazilian-portuguese, contamination-detection, healthcare-ai, inep, leaderboard, llm-benchmark, llm-evaluation, medical-ai, medical-education, medical-llm, monorepo, open-source, portuguese, reproducible-research, typescript, zero-shot, enamed, revalida
has_wikiтак
homepagehttps://medbench-brasil.ia.br
docs_sitehttps://medbench-brasil.ia.br
has_readmeтак
has_docs_dirтак
has_descriptionтак

Безпека

Чи міцні видимі практики безпеки й ланцюга постачання, без непослабленої пов’язаності з юрисдикціями високого ризику?

56Помірний · 16% загального індексу

Стан безпеки

56Помірний
Як обчислюється оцінка
7.5/7.5Binary-Artifacts — no binaries found in the repo
0/7.5Branch-Protection — branch protection not enabled on development/release branches
2.5/2.5CI-Tests — 23 out of 23 merged PRs checked by a CI test -- score normalized to 10
0/2.5CII-Best-Practices — no effort to earn an OpenSSF best practices badge detected
0/7.5Code-Review — Found 0/30 approved changesets -- score normalized to 0
2.5/2.5Contributors — project has 3 contributing companies or organizations -- score normalized to 10
10/10Dangerous-Workflow — no dangerous workflow patterns detected
7.5/7.5Dependency-Update-Tool — update tool detected
0/5Fuzzing — project is not fuzzed
2.2/2.5Ліцензія — license file detected
7.5/7.5Maintained — 30 commit(s) and 8 issue activity found in the last 90 days -- score normalized to 10
5/5Packaging — packaging workflow detected
5/5Pinned-Dependencies — all dependencies are pinned
0/5SAST — SAST tool is not run on all commits -- score normalized to 0
5/5Security-Policy — security policy file detected
0/7.5Signed-Releases — немає даних
0/7.5Token-Permissions — detected GitHub workflow tokens with excessive permissions
0/7.5Vulnerabilities — 118 existing vulnerabilities detected
Використані вхідні дані
sourceopenssf_scorecard
checks_evaluated17
scorecard_versionv5.5.0
checks_inconclusive1
scorecard_aggregate5,6
Виключено з оцінювання (немає даних або не застосовно): Signed-Releases. Залишкові ваги перенормовано.

Готовність до ШІ

Наскільки репозиторій оснащений для розробки та супроводу за участі ШІ-агентів? Має свідомо малу вагу (4%): агентний інструментарій — реальний сигнал супроводу, але репозиторій без нього все одно може отримати 100/100.

81Відмінний · 4% загального індексу

Контекст і настанови для агентів

85Відмінний
Як обчислюється оцінка
45/45Інструкції для агентів — AGENTS.md, CLAUDE.md
0/15Машиночитана документація (llms.txt)
40/40Читабельна історія комітів — намір зазначено у 98 з 99 людських комітів (структурований заголовок або пояснювальний текст)
Використані вхідні дані
has_llms_txtні
llms_txt_url—
legible_history_share0,99
agent_instruction_filesAGENTS.md, CLAUDE.md
agent_instruction_max_bytes3 959

Цикл верифікації (збірка / тести / перевірка типів)

64Помірний
Як обчислюється оцінка
0/18Розгортання однією командою
22/22Автоматизовані тести
11/11Конфігурація лінтера / форматера — eslint.config.js
11/11Статична перевірка типів — packages/dataset/tsconfig.json, packages/eval-harness/tsconfig.json, packages/ingestion/tsconfig.json, site/tsconfig.json, tsconfig.json
10/10Відтворюване середовище — lockfile
0/10Підтверджена практика роботи з агентами — серед останніх 100 комітів немає створених агентом
0/8Автоматизоване супроводження — автоматичних оновлень залежностей не виявлено
10/10OpenSSF Scorecard: Pinned-Dependencies — all dependencies are pinned
Використані вхідні дані
has_nixні
has_testsтак
lockfilespnpm-lock.yaml
has_dockerfileні
typed_languageтак
bootstrap_files—
has_devcontainerні
has_linter_configтак
typecheck_configspackages/dataset/tsconfig.json, packages/eval-harness/tsconfig.json, packages/ingestion/tsconfig.json, site/tsconfig.json, tsconfig.json
agent_commit_share0
toolchain_manifests—
dependency_bot_commit_share0

Читабельність коду для моделей

100Винятковий
Як обчислюється оцінка
45/45Типізований код — TypeScript (статично типізована)
55/55Керовані розміри файлів — 0/135 файлів вихідного коду понад 60 КБ
Використані вхідні дані
primary_languageTypeScript
largest_source_bytes20 192
source_files_sampled135
oversized_source_files0

Машиночитні інтерфейси

100Винятковий
Як обчислюється оцінка
0/40Схема API (OpenAPI/GraphQL/proto) — не застосовно до цього типу програмного забезпечення
0/20Сервер MCP — не застосовно до цього типу програмного забезпечення
40/40Придатні до запуску приклади — examples
Використані вхідні дані
example_dirsexamples
has_mcp_signalні
api_schema_files—
interfaces_expected_of—
Виключено з оцінювання (немає даних або не застосовно): Схема API (OpenAPI/GraphQL/proto), Сервер MCP. Залишкові ваги перенормовано.

Ключові факти

2зірок GitHub
2контриб'юторів
148комітів за останні 12 місяців
8днів від останнього пушу
18релізів
1бас-фактор
3відкритих issue
npmпакетних екосистем

Попередження щодо збору даних

  • Star history unavailable: GitHub GraphQL error: Resource not accessible by personal access token
  • GitHub dependency-graph SBOM unavailable (404); the dependency graph may be disabled for this repository

Докладніше

OpenSSF Scorecard 5.6 / 10
5.6сукупно

Незалежна, не прив'язана до інструментів оцінка безпеки від відкритого проєкту OpenSSF Scorecard. Кожна перевірка винагороджує практику безпеки, а не інструмент конкретного постачальника. Перевірки, які Scorecard не зміг визначити, позначено н/д і виключено з оцінки безпеки (вони ніколи не зараховуються як нуль).Scorecard v5.5.0 · 2026-10-18 22:08 UTC

10Binary-Artifactsno binaries found in the repo
0Branch-Protectionbranch protection not enabled on development/release branches
10CI-Tests23 out of 23 merged PRs checked by a CI test -- score normalized to 10
0CII-Best-Practicesno effort to earn an OpenSSF best practices badge detected
0Code-ReviewFound 0/30 approved changesets -- score normalized to 0
10Contributorsproject has 3 contributing companies or organizations -- score normalized to 10
10Dangerous-Workflowno dangerous workflow patterns detected
10Dependency-Update-Toolupdate tool detected
0Fuzzingproject is not fuzzed
9Licenselicense file detected
10Maintained30 commit(s) and 8 issue activity found in the last 90 days -- score normalized to 10
10Packagingpackaging workflow detected
10Pinned-Dependenciesall dependencies are pinned
0SASTSAST tool is not run on all commits -- score normalized to 0
10Security-Policysecurity policy file detected
н/дSigned-Releasesno releases found
0Token-Permissionsdetected GitHub workflow tokens with excessive permissions
0Vulnerabilities118 existing vulnerabilities detected
Прямі залежності 19
РеєстрПакетОбмеження версіїМаніфест
npm@precisa-saude/medbench-datasetworkspace:*site/package.json
npm@precisa-saude/medbench-harnessworkspace:*site/package.json
npm@precisa-saude/themes^1.6.0site/package.json
npm@precisa-saude/ui^1.6.0site/package.json
npm@radix-ui/react-tooltip^1.2.8site/package.json
npmclass-variance-authority^0.7.1site/package.json
npmclsx^2.1.1site/package.json
npmlucide-react^0.562.0site/package.json
npmreact^19.0.0site/package.json
npmreact-dom^19.0.0site/package.json
npmreact-router-dom^7.1.0site/package.json
npmrecharts^2.15.0site/package.json
npmtailwind-merge^3.5.0site/package.json
npmtw-animate-css^1.4.0site/package.json
npm@precisa-saude/medbench-datasetworkspace:*packages/eval-harness/package.json
npmdotenv^17.4.2packages/eval-harness/package.json
npm@aws-sdk/client-bedrock-runtime^3.1032.0packages/ingestion/package.json
npm@kreuzberg/node^4.0.8packages/ingestion/package.json
npm@precisa-saude/medbench-datasetworkspace:*packages/ingestion/package.json
Усі залежності не зібрано

Не вдалося зібрати розв'язаний набір залежностей для цього звіту: GitHub dependency-graph SBOM unavailable (404); the dependency graph may be disabled for this repository

Звіт у форматі JSON машиночитний

Зворотний зв’язок

Помітили щось хибне у цьому звіті або маєте чим поділитися? Неправильні вимірювання, непомічені інструменти, ідеї, запитання — усе доречно. Кожне повідомлення читається й отримує відповідь.

Повідомлення збережеться під час входу.

Пов’язані записи

Перевірені репозиторії, що мають спільні каталожні теги або екосистеми з Precisa-Saude/medbench-brasil. Читати поруч →

98comet-ml/opikDebug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.Винятковий99mlflow/mlflowThe open source AI engineering platform for agents, LLMs, and ML models. MLflow enables teams of all sizes to debug, evaluate, monitor, and optimize production-quality AI applications while controlling costs and managing access to models and data.Винятковий98Agenta-AI/agentaAgenta is a workspace where you and your team build agents and automations.Винятковий97twentyhq/twentyThe open alternative to Salesforce, designed for AI.Винятковий97promptfoo/promptfooTest your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI and Anthropic.Винятковий98langchain-ai/langchainThe agent engineering platform.Винятковий

Оцінки — це сигнали, а не гарантії. Вони відображають публічно видимі практики на GitHub — це не аудит коду й не гарантія безпеки.

Відсутні дані виключаються, а ваги перенормовуються — нуль за відсутність ніколи не ставиться. Методологія версіонована й відкрита: метрики v2.10.0, схема v0.34.0 — повна методологія · вікі метрик.

Як окремий результат виглядає на тлі всього реєстру: сукупна статистика — npm.