Публічний реєстр
Звіт про здоров'я програмного забезпеченнясхема 0.34.0 · метрики 2.10.0 · 2026-08-28 04:28 UTC

adbar / trafilatura

Python & Command-line tool to gather text and metadata on the Web: Crawling, scraping, extraction, output as CSV, JSON, HTML, MD, TXT, XML

PythonApache-2.0★ 6 718 зірок⑂ 423 форкиз квіт. 2019 р.Переглянути на GitHub ↗
ТипІнструмент командного рядкаБібліотекаяк це визначено
#web-scraping#text-extraction#nlp#html2text#text-mining#crawler#text-cleaning#text-preprocessing#article-extractor#readability#scraping#news-crawler#tei#html-to-markdown#corpus-builder#corpus-tools#rss-feed#news-aggregator#rag#llm

adbar/trafilatura має індекс здоров’я 91 зі 100, що відповідає смузі «Відмінний». Найвищий показник — Community & Adoption (86/100), найнижчий — Sustainability & Governance (66/100). Останнє оновлення було 6 днів тому. Більшість нещодавньої роботи виконує один учасник.

91
загалом / 100
Відмінний

Індекс здоров'я програмного забезпечення

Метрики згруповано у зважені категорії на шкалі 1–100. Загальна оцінка починається як їхнє зважене середнє, відкаліброване за розподілом публічного реєстру, тож діапазони мають перцентильний зміст; коли публічні дані активують Політику юрисдикцій високого ризику, рейтинг коригується й отримує верхню межу 34 («У зоні ризику»).

91
Винятковий93-100Верхній щабель реєстру (≈ топ-5%); відповідає практично всім перевіреним критеріям
Відмінний80-92Сильний за всіма напрямами; незначні прогалини
Добрий65-79Здоровий; прогалини обмежені та керовані
Помірний50-64Прийнятний, але з помітними прогалинами; рекомендовано перевірку
Слабкий35-49Суттєві недоліки в кількох сферах
У зоні ризику20-34Суттєві слабкі місця; впровадження потребує обережності
Критичний1-19Серйозні проблеми (покинутий, єдиний мейнтейнер, без базової гігієни)
ЖиттєздатністьСпільнота тавпровадженняСталість таврядуванняІнженернаякістьБезпекаГотовність доШІ

Профіль оцінок

Кожна вісь — окрема категорія. Форма важить більше, ніж середнє: здоровий об'єкт заповнює всю фігуру, тоді як профіль із піками та провалами означає, що сила в одному вимірі маскує ризик в іншому.

Зважений загальний бал 77 калібровано до 91 за шкалою опублікованого індексу (калібрування реєстру 2026-08-02).

Власність

Adrien BarbaresiОсобистий обліковий запис
517 підписників33 публічні репозиторіїз серп. 2012 р.

Цей репозиторій належить особистому обліковому запису. Проєкт з єдиним власником несе більший ризик безперервності, ніж підтримуваний організацією.

Пакетні екосистеми

РеєстрПакетВерсіяЗавантажень / місВерсіїОстання публікаціяТеги
PyPItrafilatura2.2.014 003 5345227 днів томуcorpushtml2textnews-crawlernatural-language-processingscrapertei-xmltext-extractionwebscrapingweb-scraping

Метрики за категоріями

Життєздатність

Чи живий проєкт — чи пишеться код і чи виходять релізи?

79Добрий · 21% загального індексу

Активність розробки

70Добрий
Як обчислюється оцінка
36/36Свіжість push — останній push 6 дн. тому
9/36Ритм комітів — 13/52 тижнів із комітами
15.2/18Обсяг комітів — 48 комітів за останній рік
10/10OpenSSF Scorecard: Maintained — 30 commit(s) and 12 issue activity found in the last 90 days -- score normalized to 10
Використані вхідні дані
commits_last_year48
human_commit_share1
days_since_last_push6
active_weeks_last_year13

Дисципліна релізів

92Відмінний
Як обчислюється оцінка
27/27Випускає релізи — опубліковано 41 релізів
36/36Свіжість релізів — останній реліз 27 дн. тому
19.8/27Ритм релізів — реліз кожні ~94,4 дн.
0/10OpenSSF Scorecard: Signed-Releases — немає даних
Використані вхідні дані
releases_count41
latest_release_tagv2.2.0
releases_from_tagsні
days_since_latest_release27
mean_days_between_releases94,4
Виключено з оцінювання (немає даних або не застосовно): OpenSSF Scorecard: Signed-Releases. Залишкові ваги перенормовано.

Спільнота та впровадження

Чи має проєкт користувачів, завантаження, увагу та влаштовані умови для контриб’юторів?

86Відмінний · 17% загального індексу

Популярність і впровадження

90Відмінний
Як обчислюється оцінка
60/60Зірки — 6 718 зірок
21.9/25Форки — 423 форків
8.6/15Спостерігачі — 36 спостерігачів
Використані вхідні дані
forks423
stars6 718
watchers36
growth_stateunverified
growth_factor_pct100
growth_unverified_reasonno_history

Здоров'я спільноти

70Добрий
Як обчислюється оцінка
22.5/22.5README
22.5/22.5Ліцензія — визнана ліцензія (Apache-2.0)
18/18Настанови CONTRIBUTING
0/13.5Кодекс поведінки
0/7.2Шаблон issue
0/6.3Шаблон PR
Використані вхідні дані
has_readmeтак
has_licenseтак
readme_badges5
has_contributingтак
has_issue_templateні
has_code_of_conductні
readme_badge_servicesreadthedocs.org, shields.io
has_pull_request_templateні

Впровадження в екосистемі (завантаження)

100Винятковий
Як обчислюється оцінка
80/80Щомісячні завантаження — 14 003 534 завантажень/місяць у pypi
0/20Залежні пакети в реєстрі — ця екосистема цього не повідомляє
Використані вхідні дані
packagestrafilatura
dependents—
ecosystemspypi
total_downloads—
monthly_downloads14 003 534
unverified_packages_excluded—
Виключено з оцінювання (немає даних або не застосовно): Залежні пакети в реєстрі. Залишкові ваги перенормовано.

Сталість та врядування

Чи переживе проєкт своїх людей — бас-фактор, реактивність, хто за ним стоїть і як супроводжуються пакети?

66Добрий · 23% загального індексу

Стійкість мейнтейнерів (бас-фактор)

35Слабкий
Як обчислюється оцінка
9/54Бас-фактор — на 1 контриб’ютор(ів) припадає половина всіх комітів
2.8/22.5Розподіл комітів — головний контриб’ютор — автор 87% комітів
13.5/13.5Широта контриб’юторів — 65 контриб’юторів
10/10OpenSSF Scorecard: Contributors — project has 6 contributing companies or organizations
Використані вхідні дані
bus_factor1
contributors_sampled65
top_contributor_share0,874

Реактивність на issue та PR

78Добрий
Як обчислюється оцінка
36.6/42Вирішення issue — закрито 87% issue
23.3/30Прийняття PR — злито 334/430 вирішених PR
8.7/13Newcomer PR acceptance — злито 8/12 PR від новачків за 30 дн.
9/15OpenSSF Scorecard: Code-Review — Found 18/30 approved changesets -- score normalized to 6
Використані вхідні дані
merged_prs334
open_issues57
closed_issues390
prs_merged_7d3
prs_decided_7d3
prs_merged_30d14
prs_decided_30d18
issue_closed_ratio0,872
closed_unmerged_prs96
first_time_authors_30d7
first_time_prs_merged_30d8
first_time_prs_decided_30d12

Власність та опіка

66Добрий
Як обчислюється оцінка
10/30Підтримка власника — особистий (користувацький) обліковий запис
0/20Верифікований домен — не застосовно до користувацьких облікових записів
19.5/25Охоплення власника — 517 підписників у adbar
23.2/25Послужний список — 33 публічних репозиторіїв, вік облікового запису ~14 р.
Використані вхідні дані
followers517
owner_typeUser
is_verified—
owner_loginadbar
public_repos33
account_age_days5 131
Виключено з оцінювання (немає даних або не застосовно): Верифікований домен. Залишкові ваги перенормовано.

Супровід пакетів

100Винятковий
Як обчислюється оцінка
25/25Опубліковано й доступно — 1 пакет(ів) у pypi
35/35Свіжість публікацій — остання публікація 27 дн. тому
20/20Історія версій — 52 опублікованих версій
20/20Не застарілий — активний, не deprecated і не yanked
Використані вхідні дані
packagestrafilatura
ecosystemspypi
any_deprecatedні
min_days_since_publish27

Інженерна якість

Чи наявні базові інженерні практики та документація?

86Відмінний · 19% загального індексу

Інженерні практики

84Відмінний
Як обчислюється оцінка
24/24Процеси CI — 2 процес(ів) CI
24/24Наявні тести
16/16Конфігурація лінтера — pyproject.toml ([tool.ruff])
0/9.6Pre-commit-хуки
0/6.4.editorconfig
20/20OpenSSF Scorecard: CI-Tests — 30 out of 30 merged PRs checked by a CI test -- score normalized to 10
Використані вхідні дані
has_ciтак
has_testsтак
has_editorconfigні
has_linter_configтак
has_precommit_configні

Документація

90Відмінний
Як обчислюється оцінка
30/30README
25/25Каталог документації
15/15Сайт документації / домашня сторінка — https://trafilatura.readthedocs.io
10/10Опис репозиторію
10/10Теми — 20 тем
0/10Wiki
Використані вхідні дані
topicsweb-scraping, text-extraction, nlp, html2text, text-mining, crawler, text-cleaning, text-preprocessing, article-extractor, readability, scraping, news-crawler, tei, html-to-markdown, corpus-builder, corpus-tools, rss-feed, news-aggregator, rag, llm
has_wikiні
homepagehttps://trafilatura.readthedocs.io
docs_sitehttps://trafilatura.readthedocs.io
has_readmeтак
has_docs_dirтак
has_descriptionтак

Безпека

Чи міцні видимі практики безпеки й ланцюга постачання, без непослабленої пов’язаності з юрисдикціями високого ризику?

70Добрий · 16% загального індексу

Стан безпеки

62Помірний
Як обчислюється оцінка
7.5/7.5Binary-Artifacts — no binaries found in the repo
0/7.5Branch-Protection — branch protection not enabled on development/release branches
2.5/2.5CI-Tests — 30 out of 30 merged PRs checked by a CI test -- score normalized to 10
0/2.5CII-Best-Practices — no effort to earn an OpenSSF best practices badge detected
4.5/7.5Code-Review — Found 18/30 approved changesets -- score normalized to 6
2.5/2.5Contributors — project has 6 contributing companies or organizations
10/10Dangerous-Workflow — no dangerous workflow patterns detected
7.5/7.5Dependency-Update-Tool — update tool detected
0/5Fuzzing — project is not fuzzed
2.5/2.5Ліцензія — license file detected
7.5/7.5Maintained — 30 commit(s) and 12 issue activity found in the last 90 days -- score normalized to 10
0/5Packaging — немає даних
0/5Pinned-Dependencies — dependency not pinned by hash detected -- score normalized to 0
5/5SAST — SAST tool is run on all commits
0/5Security-Policy — security policy file not detected
0/7.5Signed-Releases — немає даних
0/7.5Token-Permissions — detected GitHub workflow tokens with excessive permissions
7.5/7.5Vulnerabilities — 0 existing vulnerabilities detected
Використані вхідні дані
sourceopenssf_scorecard
checks_evaluated16
scorecard_versionv5.5.0
checks_inconclusive2
scorecard_aggregate6,2
Виключено з оцінювання (немає даних або не застосовно): Packaging, Signed-Releases. Залишкові ваги перенормовано.

Сповіщення про залежності

100Винятковий
Як обчислюється оцінка
35/35Прямі залежності без відомих сповіщень — жодна пряма залежність не має відомих сповіщень
25/25Непрямі залежності без відомих сповіщень — жодна непряма залежність не має відомих сповіщень
0/40Немає задавнених сповіщень — жодне сповіщення не має дати публікації
Використані вхідні дані
sourceosv
advisories0
affected_packages0
assessed_packages15
unassessed_packages0
affected_by_severitynone
direct_affected_packages0
Виключено з оцінювання (немає даних або не застосовно): Немає задавнених сповіщень. Залишкові ваги перенормовано. Звірено з runtime-замиканням залежностей pypi:trafilatura@2.2.0 — тим, що тягне за собою встановлення опублікованого пакета, — 15 пакетів. Досяжність не аналізується.

Готовність до ШІ

Наскільки репозиторій оснащений для розробки та супроводу за участі ШІ-агентів? Має свідомо малу вагу (4%): агентний інструментарій — реальний сигнал супроводу, але репозиторій без нього все одно може отримати 100/100.

67Добрий · 4% загального індексу

Контекст і настанови для агентів

40Слабкий
Як обчислюється оцінка
0/45Інструкції для агентів — немає CLAUDE.md / AGENTS.md / правил редактора
0/15Машиночитана документація (llms.txt)
40/40Читабельна історія комітів — намір зазначено у 100 з 100 людських комітів (структурований заголовок або пояснювальний текст)
Використані вхідні дані
has_llms_txtні
llms_txt_url—
legible_history_share1
agent_instruction_files—
agent_instruction_max_bytes—

Цикл верифікації (збірка / тести / перевірка типів)

70Добрий
Як обчислюється оцінка
18/18Розгортання однією командою — docs/Makefile
22/22Автоматизовані тести
11/11Конфігурація лінтера / форматера — pyproject.toml ([tool.ruff])
11/11Статична перевірка типів — trafilatura/py.typed
0/10Відтворюване середовище
8/10Підтверджена практика роботи з агентами — 4 з останніх 100 комітів створено агентом або з його зазначенням
0/8Автоматизоване супроводження — автоматичних оновлень залежностей не виявлено
0/10OpenSSF Scorecard: Pinned-Dependencies — dependency not pinned by hash detected -- score normalized to 0
Використані вхідні дані
has_nixні
has_testsтак
lockfiles—
has_dockerfileні
typed_languageні
bootstrap_filesdocs/Makefile
has_devcontainerні
has_linter_configтак
typecheck_configstrafilatura/py.typed
agent_commit_share0,04
toolchain_manifests—
dependency_bot_commit_share0

Читабельність коду для моделей

78Добрий
Як обчислюється оцінка
27/45Типізований код — Python з конфігурацією перевірки типів (trafilatura/py.typed)
51.2/55Керовані розміри файлів — 3/44 файлів вихідного коду понад 60 КБ
Використані вхідні дані
primary_languagePython
largest_source_bytes188 360
source_files_sampled44
oversized_source_files3

Машиночитні інтерфейси

100Винятковий
Як обчислюється оцінка
0/40Схема API (OpenAPI/GraphQL/proto) — не застосовно до цього типу програмного забезпечення
0/20Сервер MCP — не застосовно до цього типу програмного забезпечення
40/40Придатні до запуску приклади — notebooks
Використані вхідні дані
example_dirsnotebooks
has_mcp_signalні
api_schema_files—
interfaces_expected_of—
Виключено з оцінювання (немає даних або не застосовно): Схема API (OpenAPI/GraphQL/proto), Сервер MCP. Залишкові ваги перенормовано.

Ключові факти

6 718зірок GitHub
65контриб'юторів
48комітів за останні 12 місяців
6днів від останнього пушу
41релізів
1бас-фактор
57відкритих issue
PyPIпакетних екосистем

Попередження щодо збору даних

  • Star history unavailable: GitHub GraphQL error: Resource not accessible by personal access token

Докладніше

Історія зірок і форків 0 ★ / 423 ⇿
0Зірки
423Форки
41Релізи

Коли додано кожну зірку й форк — зібрано з GitHub і згруповано за днями. Кумулятивне зростання розміщено просто над денними додаваннями, з яких воно складається, тож їх видно одне проти одного: рівномірне органічне накопичення виглядає зовсім інакше, ніж різкий короткочасний сплеск. Там, де цю різницю можна виміряти, її подано як автентичність росту.

010020030040050041892019-072023-022026-08
Мажорні 2Мінорні 20Патчі 19

Кожна точка охоплює 7 днів.

OpenSSF Scorecard 6.2 / 10
6.2сукупно

Незалежна, не прив'язана до інструментів оцінка безпеки від відкритого проєкту OpenSSF Scorecard. Кожна перевірка винагороджує практику безпеки, а не інструмент конкретного постачальника. Перевірки, які Scorecard не зміг визначити, позначено н/д і виключено з оцінки безпеки (вони ніколи не зараховуються як нуль).Scorecard v5.5.0 · 2026-08-28 04:28 UTC

10Binary-Artifactsno binaries found in the repo
0Branch-Protectionbranch protection not enabled on development/release branches
10CI-Tests30 out of 30 merged PRs checked by a CI test -- score normalized to 10
0CII-Best-Practicesno effort to earn an OpenSSF best practices badge detected
6Code-ReviewFound 18/30 approved changesets -- score normalized to 6
10Contributorsproject has 6 contributing companies or organizations
10Dangerous-Workflowno dangerous workflow patterns detected
10Dependency-Update-Toolupdate tool detected
0Fuzzingproject is not fuzzed
10Licenselicense file detected
10Maintained30 commit(s) and 12 issue activity found in the last 90 days -- score normalized to 10
н/дPackagingpackaging workflow not detected
0Pinned-Dependenciesdependency not pinned by hash detected -- score normalized to 0
10SASTSAST tool is run on all commits
0Security-Policysecurity policy file not detected
н/дSigned-Releasesno releases found
0Token-Permissionsdetected GitHub workflow tokens with excessive permissions
10Vulnerabilities0 existing vulnerabilities detected
Прямі залежності 7
РеєстрПакетОбмеження версіїМаніфест
PyPIcertifi—pyproject.toml
PyPIcharset_normalizer== 3.5.0pyproject.toml
PyPIcourlan== 1.4.0pyproject.toml
PyPIhtmldate== 1.10.0pyproject.toml
PyPIjustext== 3.0.2pyproject.toml
PyPIlxml== 6.1.1pyproject.toml
PyPIurllib3== 2.7.0pyproject.toml
Усі залежності 39

Повний розв'язаний набір залежностей із графа залежностей GitHub: 6 прямих і 33 непрямих (транзитивних) пакетів. Транзитивне замикання є повним, коли в репозиторії закомічено lockfile.

РеєстрПакетВерсіяЗв'язок
PyPIcharset-normalizer3.5.0пряма
PyPIcourlan1.4.0пряма
PyPIhtmldate1.10.0пряма
PyPIjustext3.0.2пряма
PyPIlxml6.1.1пряма
PyPIurllib32.7.0пряма
PyPIbeautifulsoup44.15.0непряма
PyPIboilerpy31.0.7непряма
PyPIbrotli1.2.0непряма
PyPIdocutils0.22.4непряма
PyPIfaust-cchardet2.2.1непряма
PyPIgoose33.1.22непряма
PyPIhtml-text0.7.1непряма
PyPIhtml2text2025.4.15непряма
PyPIinscriptis2.7.4непряма
PyPImagic-html0.1.8непряма
PyPImypy2.3.0непряма
PyPImyst-parser5.1.0непряма
PyPInews-please1.6.16непряма
PyPInewspaper4k0.9.6непряма
PyPInltk3.10.3непряма
PyPIpandas3.0.5непряма
PyPIpy3langid0.3.0непряма
PyPIpycurl7.47.0непряма
PyPIpydata-sphinx-theme0.20.0непряма
PyPIpytest9.1.1непряма
PyPIpytest-cov7.1.0непряма
PyPIreadability-lxml0.8.4.1непряма
PyPIresiliparse1.0.9непряма
PyPIruff0.16.3непряма
PyPIsetuptools—непряма
PyPIsphinx9.1.0непряма
PyPIsphinx-sitemap2.9.0непряма
PyPIsphinxcontrib-programoutput0.20непряма
PyPIsphinxext-opengraph0.13.0непряма
PyPItabulate0.10.0непряма
PyPItypes-lxml2026.2.16непряма
PyPItypes-pycurl7.47.0.20260703непряма
PyPIzstandard0.25.0непряма
Сповіщення про залежності 0

Встановлення pypi:trafilatura@2.2.0 тягне 15 пакетів, прямих і транзитивних: 0 мають відомі сповіщення, з них 0 — прямі залежності.

Жодне відоме сповіщення не стосується оцінених залежностей.

Сповіщення означає, що версія, записана в графі залежностей, потрапляє в уражений діапазон. Досяжність не аналізується, а граф містить піниї розробки й тестування — знахідка може стосуватися інструментів, а не поставленого коду.

Звіт у форматі JSON машиночитний

Зворотний зв’язок

Помітили щось хибне у цьому звіті або маєте чим поділитися? Неправильні вимірювання, непомічені інструменти, ідеї, запитання — усе доречно. Кожне повідомлення читається й отримує відповідь.

Повідомлення збережеться під час входу.

Пов’язані записи

Перевірені репозиторії, що мають спільні каталожні теги або екосистеми з adbar/trafilatura. Читати поруч →

94ScrapeGraphAI/Scrapegraph-aiPython scraper based on AIВинятковий94firecrawl/firecrawlThe context API to search, scrape, and interact with the web at scale. 🔥Винятковий94D4Vinci/Scrapling🕷️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!Винятковий98apify/crawlee-pythonCrawlee—A web scraping and browser automation library for Python to build reliable crawlers. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Parsel, BeautifulSoup, Playwright, and raw HTTP. Both headful and headless mode. With proxy rotation.Винятковий94apify/apify-sdk-pythonApify SDK for Python—The official library for building Apify Actors: serverless cloud programs for web scraping, browser automation, data processing, and AI agents. Manages the Actor lifecycle, storages (datasets, key-value stores, request queues), events, proxies, and pay-per-event monetization. Built on top of the the Apify API Client.Винятковий98apify/crawleeCrawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.Винятковий

Оцінки — це сигнали, а не гарантії. Вони відображають публічно видимі практики на GitHub — це не аудит коду й не гарантія безпеки.

Відсутні дані виключаються, а ваги перенормовуються — нуль за відсутність ніколи не ставиться. Методологія версіонована й відкрита: метрики v2.10.0, схема v0.34.0 — повна методологія · вікі метрик.

Як окремий результат виглядає на тлі всього реєстру: сукупна статистика — PyPI.