Публічний реєстр
Звіт про здоров'я програмного забезпеченнясхема 0.27.0 · метрики 2.10.0 · 2026-07-31 21:44 UTC

lncrawl / scraper

HTTP scraper with Cloudflare bypass, stealth mode, TLS rotation, proxy support, and a null-safe BeautifulSoup wrapper

PythonApache-2.0★ 1 зірка⑂ 0 форківз черв. 2026 р.Переглянути на GitHub ↗
ТипБібліотекаяк це визначено

lncrawl/scraper має індекс здоров’я 51 зі 100, що відповідає смузі «Помірний». Найвищий показник — Vitality (70/100), найнижчий — Security (30/100). Останнє оновлення — сьогодні. Більшість нещодавньої роботи виконує один учасник.

51
загалом / 100
Помірний

Індекс здоров'я програмного забезпечення

Метрики згруповано у зважені категорії на шкалі 1–100. Загальна оцінка починається як їхнє зважене середнє, відкаліброване за розподілом публічного реєстру, тож діапазони мають перцентильний зміст; коли публічні дані активують Політику юрисдикцій високого ризику, рейтинг коригується й отримує верхню межу 34 («У зоні ризику»).

51
Винятковий93-100Верхній щабель реєстру (≈ топ-5%); відповідає практично всім перевіреним критеріям
Відмінний80-92Сильний за всіма напрямами; незначні прогалини
Добрий65-79Здоровий; прогалини обмежені та керовані
Помірний50-64Прийнятний, але з помітними прогалинами; рекомендовано перевірку
Слабкий35-49Суттєві недоліки в кількох сферах
У зоні ризику20-34Суттєві слабкі місця; впровадження потребує обережності
Критичний1-19Серйозні проблеми (покинутий, єдиний мейнтейнер, без базової гігієни)
ЖиттєздатністьСпільнота тавпровадженняСталість таврядуванняІнженернаякістьБезпекаГотовність доШІ

Профіль оцінок

Кожна вісь — окрема категорія. Форма важить більше, ніж середнє: здоровий об'єкт заповнює всю фігуру, тоді як профіль із піками та провалами означає, що сила в одному вимірі маскує ризик в іншому.

Зважений загальний бал 51 калібровано до 51 за шкалою опублікованого індексу (калібрування реєстру 2026-08-02).

Власність

LNCrawlОрганізація
8 підписників8 публічних репозиторіївз груд. 2025 р.

За цим репозиторієм стоїть організація — спільна, підзвітна опіка, здатна пережити будь-якого окремого мейнтейнера.

Пакетні екосистеми

РеєстрПакетВерсіяЗавантажень / місВерсіїОстання публікаціяТеги
PyPIlncrawl-scraper1.4.05 920150 днів томуbeautifulsoupbot-detectioncloudflareimpersonatescrapertls-fingerprintweb-bot-auth

Метрики за категоріями

Життєздатність

Чи живий проєкт — чи пишеться код і чи виходять релізи?

70Добрий · 21% загального індексу

Активність розробки

56Помірний
Як обчислюється оцінка
36/36Свіжість push — останній push 0 дн. тому
3.5/36Ритм комітів — 5/52 тижнів із комітами
16/18Обсяг комітів — 59 комітів за останній рік
0/10OpenSSF Scorecard: Maintained — project was created within the last 90 days. Please review its contents carefully
Використані вхідні дані
commits_last_year59
human_commit_share1
days_since_last_push0
active_weeks_last_year5

Дисципліна релізів

90Відмінний
Як обчислюється оцінка
27/27Випускає релізи — опубліковано 15 релізів
36/36Свіжість релізів — останній реліз 0 дн. тому
27/27Ритм релізів — реліз кожні ~5,1 дн.
0/10OpenSSF Scorecard: Signed-Releases — Project has not signed or included provenance with any releases.
Використані вхідні дані
releases_count15
latest_release_tagv1.4.0
releases_from_tagsні
days_since_latest_release0
mean_days_between_releases5,1

Спільнота та впровадження

Чи має проєкт користувачів, завантаження, увагу та влаштовані умови для контриб’юторів?

34У зоні ризику · 17% загального індексу

Популярність і впровадження

1Критичний
Як обчислюється оцінка
0/60Зірки — 1 зірок
0/25Форки — 0 форків
0/15Спостерігачі — 0 спостерігачів
Використані вхідні дані
forks0
stars1
watchers0
growth_stateunverified
growth_factor_pct100
growth_unverified_reasonno_history

Здоров'я спільноти

50Помірний
Як обчислюється оцінка
22.5/22.5README
22.5/22.5Ліцензія — визнана ліцензія (Apache-2.0)
0/18Настанови CONTRIBUTING
0/13.5Кодекс поведінки
0/7.2Шаблон issue
0/6.3Шаблон PR
Використані вхідні дані
has_readmeтак
has_licenseтак
readme_badges—
has_contributingні
has_issue_templateні
has_code_of_conductні
readme_badge_services—
has_pull_request_templateні

Впровадження в екосистемі (завантаження)

63Помірний
Як обчислюється оцінка
50.3/80Щомісячні завантаження — 5 920 завантажень/місяць у pypi
0/20Залежні пакети в реєстрі — ця екосистема цього не повідомляє
Використані вхідні дані
packageslncrawl-scraper
dependents—
ecosystemspypi
total_downloads—
monthly_downloads5 920
unverified_packages_excluded—
Виключено з оцінювання (немає даних або не застосовно): Залежні пакети в реєстрі. Залишкові ваги перенормовано.

Сталість та врядування

Чи переживе проєкт своїх людей — бас-фактор, реактивність, хто за ним стоїть і як супроводжуються пакети?

46Слабкий · 23% загального індексу

Стійкість мейнтейнерів (бас-фактор)

13Критичний
Як обчислюється оцінка
9/54Бас-фактор — на 1 контриб’ютор(ів) припадає половина всіх комітів
0/22.5Розподіл комітів — головний контриб’ютор — автор 100% комітів
1.4/13.5Широта контриб’юторів — 1 контриб’юторів
3/10OpenSSF Scorecard: Contributors — project has 1 contributing companies or organizations -- score normalized to 3
Використані вхідні дані
bus_factor1
contributors_sampled1
top_contributor_share1

Реактивність на issue та PR

34У зоні ризику
Як обчислюється оцінка
0/42Вирішення issue — закрито 0% issue
30/30Прийняття PR — злито 2/2 вирішених PR
0/13Newcomer PR acceptance — за 30 дн. не вирішено жодного PR від новачка
0/15OpenSSF Scorecard: Code-Review — Found 0/30 approved changesets -- score normalized to 0
Використані вхідні дані
merged_prs2
open_issues1
closed_issues0
prs_merged_7d—
prs_decided_7d—
prs_merged_30d—
prs_decided_30d—
issue_closed_ratio0
closed_unmerged_prs0
first_time_authors_30d—
first_time_prs_merged_30d—
first_time_prs_decided_30d—
Виключено з оцінювання (немає даних або не застосовно): Newcomer PR acceptance. Залишкові ваги перенормовано.

Власність та опіка

56Помірний
Як обчислюється оцінка
30/30Підтримка власника — у власності організації
0/20Верифікований домен — статус підтвердженого домену для цієї організації не зчитано
6.9/25Охоплення власника — 8 підписників у lncrawl
8.1/25Послужний список — 8 публічних репозиторіїв, вік облікового запису ~0 р.
Використані вхідні дані
followers8
owner_typeOrganization
is_verified—
owner_loginlncrawl
public_repos8
account_age_days218
Виключено з оцінювання (немає даних або не застосовно): Верифікований домен. Залишкові ваги перенормовано.

Супровід пакетів

100Винятковий
Як обчислюється оцінка
25/25Опубліковано й доступно — 1 пакет(ів) у pypi
35/35Свіжість публікацій — остання публікація 0 дн. тому
20/20Історія версій — 15 опублікованих версій
20/20Не застарілий — активний, не deprecated і не yanked
Використані вхідні дані
packageslncrawl-scraper
ecosystemspypi
any_deprecatedні
min_days_since_publish0

Інженерна якість

Чи наявні базові інженерні практики та документація?

66Добрий · 19% загального індексу

Інженерні практики

60Помірний
Як обчислюється оцінка
24/24Процеси CI — 5 процес(ів) CI
24/24Наявні тести
0/16Конфігурація лінтера
0/9.6Pre-commit-хуки
0/6.4.editorconfig
0/20OpenSSF Scorecard: CI-Tests — немає даних
Використані вхідні дані
has_ciтак
has_testsтак
has_editorconfigні
has_linter_configні
has_precommit_configні
Виключено з оцінювання (немає даних або не застосовно): OpenSSF Scorecard: CI-Tests. Залишкові ваги перенормовано.

Документація

75Добрий
Як обчислюється оцінка
30/30README
25/25Каталог документації
0/15Сайт документації / домашня сторінка
10/10Опис репозиторію
0/10Теми
10/10Wiki
Використані вхідні дані
topics—
has_wikiтак
homepage—
docs_site—
has_readmeтак
has_docs_dirтак
has_descriptionтак

Безпека

Чи міцні видимі практики безпеки й ланцюга постачання, без непослабленої пов’язаності з юрисдикціями високого ризику?

30У зоні ризику · 16% загального індексу

Стан безпеки

25У зоні ризику
Як обчислюється оцінка
7.5/7.5Binary-Artifacts — no binaries found in the repo
0/7.5Branch-Protection — branch protection not enabled on development/release branches
0/2.5CI-Tests — немає даних
0/2.5CII-Best-Practices — no effort to earn an OpenSSF best practices badge detected
0/7.5Code-Review — Found 0/30 approved changesets -- score normalized to 0
0.8/2.5Contributors — project has 1 contributing companies or organizations -- score normalized to 3
10/10Dangerous-Workflow — no dangerous workflow patterns detected
0/7.5Dependency-Update-Tool — no update tool detected
0/5Fuzzing — project is not fuzzed
2.5/2.5Ліцензія — license file detected
0/7.5Maintained — project was created within the last 90 days. Please review its contents carefully
5/5Packaging — packaging workflow detected
0/5Pinned-Dependencies — dependency not pinned by hash detected -- score normalized to 0
0/5SAST — no SAST tool detected
0/5Security-Policy — security policy file not detected
0/7.5Signed-Releases — Project has not signed or included provenance with any releases.
0/7.5Token-Permissions — detected GitHub workflow tokens with excessive permissions
0/7.5Vulnerabilities — 27 existing vulnerabilities detected
Використані вхідні дані
sourceopenssf_scorecard
checks_evaluated17
scorecard_versionv5.5.0
checks_inconclusive1
scorecard_aggregate2,5
Виключено з оцінювання (немає даних або не застосовно): CI-Tests. Залишкові ваги перенормовано.

Сповіщення про залежності

52Помірний
Як обчислюється оцінка
9.6/35Прямі залежності без відомих сповіщень — уражено 2: curl-cffi 0.13.0 (high 8.6), requests 2.32.5 (moderate 5.5)
0/25Непрямі залежності без відомих сповіщень — транзитивний набір не відокремлюється від залежностей розробки й тестування в цьому обсязі
29.6/40Немає задавнених сповіщень — 2 пакет(ів) зі сповіщеннями без реакції понад 90 дн.; найдавніше опубліковано 128 дн. тому
Використані вхідні дані
sourceosv
advisories75
affected_packages9
assessed_packages80
unassessed_packages0
affected_by_severitycritical 2, high 4, moderate 3
direct_affected_packages2
Виключено з оцінювання (немає даних або не застосовно): Непрямі залежності без відомих сповіщень. Залишкові ваги перенормовано. Звірено 80 резолвлених залежностей із OSV. Цей репозиторій не публікує пакета, який резолвить індекс, тож натомість оцінено граф залежностей репозиторію. Цей граф змішує закріплені версії для розробки й тестування зі справді постачаними залежностями, тож оцінюються лише задекларовані runtime-залежності; транзитивні знахідки подаються як контекст і в оцінку не входять. Досяжність не аналізується.

Готовність до ШІ

Наскільки репозиторій оснащений для розробки та супроводу за участі ШІ-агентів? Має свідомо малу вагу (4%): агентний інструментарій — реальний сигнал супроводу, але репозиторій без нього все одно може отримати 100/100.

70Добрий · 4% загального індексу

Контекст і настанови для агентів

78Добрий
Як обчислюється оцінка
45/45Інструкції для агентів — AGENTS.md, CLAUDE.md
0/15Машиночитана документація (llms.txt)
33.5/40Читабельна історія комітів — намір зазначено у 44 з 70 людських комітів (структурований заголовок або пояснювальний текст)
Використані вхідні дані
has_llms_txtні
llms_txt_url—
legible_history_share0,629
agent_instruction_filesAGENTS.md, CLAUDE.md
agent_instruction_max_bytes10 610

Цикл верифікації (збірка / тести / перевірка типів)

49Слабкий
Як обчислюється оцінка
0/18Розгортання однією командою
22/22Автоматизовані тести
0/11Конфігурація лінтера / форматера
11/11Статична перевірка типів — src/scraper/py.typed
10/10Відтворюване середовище — lockfile
5.7/10Підтверджена практика роботи з агентами — 2 з останніх 70 комітів створено агентом або з його зазначенням
0/8Автоматизоване супроводження — автоматичних оновлень залежностей не виявлено
0/10OpenSSF Scorecard: Pinned-Dependencies — dependency not pinned by hash detected -- score normalized to 0
Використані вхідні дані
has_nixні
has_testsтак
lockfilesuv.lock
has_dockerfileні
typed_languageні
bootstrap_files—
has_devcontainerні
has_linter_configні
typecheck_configssrc/scraper/py.typed
agent_commit_share0,029
toolchain_manifests—
dependency_bot_commit_share0

Читабельність коду для моделей

81Відмінний
Як обчислюється оцінка
27/45Типізований код — Python з конфігурацією перевірки типів (src/scraper/py.typed)
54.3/55Керовані розміри файлів — 1/76 файлів вихідного коду понад 60 КБ
Використані вхідні дані
primary_languagePython
largest_source_bytes72 180
source_files_sampled76
oversized_source_files1

Машиночитні інтерфейси

100Винятковий
Як обчислюється оцінка
0/40Схема API (OpenAPI/GraphQL/proto) — не застосовно до цього типу програмного забезпечення
0/20Сервер MCP — не застосовно до цього типу програмного забезпечення
40/40Придатні до запуску приклади — examples
Використані вхідні дані
example_dirsexamples
has_mcp_signalні
api_schema_files—
interfaces_expected_of—
Виключено з оцінювання (немає даних або не застосовно): Схема API (OpenAPI/GraphQL/proto), Сервер MCP. Залишкові ваги перенормовано.

Ключові факти

1зірок GitHub
1контриб'юторів
59комітів за останні 12 місяців
0днів від останнього пушу
15релізів
1бас-фактор
1відкритих issue
PyPIпакетних екосистем

Попередження щодо збору даних

  • Star history unavailable: GitHub GraphQL error: Resource not accessible by personal access token
  • deps.dev does not index pypi:lncrawl-scraper@1.4.0; advisories assessed against the repository dependency graph instead

Докладніше

OpenSSF Scorecard 2.5 / 10
2.5сукупно

Незалежна, не прив'язана до інструментів оцінка безпеки від відкритого проєкту OpenSSF Scorecard. Кожна перевірка винагороджує практику безпеки, а не інструмент конкретного постачальника. Перевірки, які Scorecard не зміг визначити, позначено н/д і виключено з оцінки безпеки (вони ніколи не зараховуються як нуль).Scorecard v5.5.0 · 2026-07-31 21:44 UTC

10Binary-Artifactsno binaries found in the repo
0Branch-Protectionbranch protection not enabled on development/release branches
н/дCI-Testsno pull request found
0CII-Best-Practicesno effort to earn an OpenSSF best practices badge detected
0Code-ReviewFound 0/30 approved changesets -- score normalized to 0
3Contributorsproject has 1 contributing companies or organizations -- score normalized to 3
10Dangerous-Workflowno dangerous workflow patterns detected
0Dependency-Update-Toolno update tool detected
0Fuzzingproject is not fuzzed
10Licenselicense file detected
0Maintainedproject was created within the last 90 days. Please review its contents carefully
10Packagingpackaging workflow detected
0Pinned-Dependenciesdependency not pinned by hash detected -- score normalized to 0
0SASTno SAST tool detected
0Security-Policysecurity policy file not detected
0Signed-ReleasesProject has not signed or included provenance with any releases.
0Token-Permissionsdetected GitHub workflow tokens with excessive permissions
0Vulnerabilities27 existing vulnerabilities detected
Прямі залежності 4
РеєстрПакетОбмеження версіїМаніфест
PyPIcurl_cffi>=0.13pyproject.toml
PyPIrequests>=2.28pyproject.toml
PyPIbeautifulsoup4>=4.14.3pyproject.toml
PyPIlxml>=6.0.0pyproject.toml
Усі залежності 80

Повний розв'язаний набір залежностей із графа залежностей GitHub: 6 прямих і 74 непрямих (транзитивних) пакетів. Транзитивне замикання є повним, коли в репозиторії закомічено lockfile.

РеєстрПакетВерсіяЗв'язок
PyPIbeautifulsoup44.15.0пряма
PyPIcurl-cffi0.13.0пряма
PyPIcurl-cffi0.15.0пряма
PyPIlxml6.1.1пряма
PyPIrequests2.32.5пряма
PyPIrequests2.34.2пряма
PyPIbabel2.18.0непряма
PyPIbackrefs6.2непряма
PyPIbackrefs8.0непряма
PyPIcertifi2026.5.20непряма
PyPIcffi2.0.0непряма
PyPIcharset-normalizer3.4.7непряма
PyPIclick8.1.8непряма
PyPIclick8.4.2непряма
PyPIcolorama0.4.6непряма
PyPIcoverage7.10.7непряма
PyPIcoverage7.14.1непряма
PyPIcryptography47.0.0непряма
PyPIcryptography49.0.0непряма
PyPIdeprecated1.3.1непряма
PyPIexceptiongroup1.3.1непряма
PyPIghp-import2.1.0непряма
PyPIidna3.18непряма
PyPIimportlib-metadata8.7.1непряма
PyPIiniconfig2.1.0непряма
PyPIiniconfig2.3.0непряма
PyPIjinja23.1.6непряма
PyPIlncrawl-scraper1.4.0непряма
PyPIlxml-stubs0.5.1непряма
PyPImarkdown3.10.2непряма
PyPImarkdown3.9непряма
PyPImarkdown-it-py4.2.0непряма
PyPImarkupsafe3.0.3непряма
PyPImdurl0.1.2непряма
PyPImergedeep1.3.4непряма
PyPImkdocs1.6.1непряма
PyPImkdocs-get-deps0.2.2непряма
PyPImkdocs-material9.7.7непряма
PyPImkdocs-material-extensions1.3.1непряма
PyPImss10.2.0непряма
PyPInodeenv1.10.0непряма
PyPInodriver0.50.3непряма
PyPIpackaging26.2непряма
PyPIpaginate0.5.7непряма
PyPIpastel0.2.1непряма
PyPIpathspec1.1.1непряма
PyPIpillow11.3.0непряма
PyPIpillow12.2.0непряма
PyPIplatformdirs4.11.0непряма
PyPIplatformdirs4.4.0непряма
PyPIpluggy1.6.0непряма
PyPIpoethepoet0.37.0непряма
PyPIpoethepoet0.46.0непряма
PyPIpycparser2.23непряма
PyPIpycparser3.0непряма
PyPIpygments2.20.0непряма
PyPIpymdown-extensions10.21.3непряма
PyPIpymdown-extensions11.0.1непряма
PyPIpyright1.1.410непряма
PyPIpysocks1.7.1непряма
PyPIpytest8.4.2непряма
PyPIpytest9.1.0непряма
PyPIpytest-cov7.1.0непряма
PyPIpython-dateutil2.9.0.post0непряма
PyPIpyyaml6.0.3непряма
PyPIpyyaml-env-tag1.1непряма
PyPIresponses0.26.1непряма
PyPIrich15.0.0непряма
PyPIruff0.15.17непряма
PyPIsix1.17.0непряма
PyPIsoupsieve2.8.4непряма
PyPItomli2.4.1непряма
PyPItyping-extensions4.15.0непряма
PyPIurllib32.6.3непряма
PyPIurllib32.7.0непряма
PyPIwatchdog6.0.0непряма
PyPIwebsockets15.0.1непряма
PyPIwebsockets16.1.1непряма
PyPIwrapt2.3.0непряма
PyPIzipp3.23.1непряма
Сповіщення про залежності 9

Цей репозиторій не публікує пакета, який розпізнає індекс, тож оцінено його власний граф залежностей — 80 пакетів, серед яких є й піниї розробки та тестування, що ніколи не постачаються: 9 мають відомі сповіщення, з них 2 прямі.

ПакетВерсіяЗв'язокКритичністьСповіщеньВиправлено в
pillow11.3.0непрямакритична3612.3.0
pillow12.2.0непрямакритична2612.3.0
curl-cffi0.13.0прямависока20.15.0
click8.1.8непрямависока18.3.3
cryptography47.0.0непрямависока148.0.1
urllib32.6.3непрямависока42.7.0
requests2.32.5прямапомірна22.33.0
pymdown-extensions10.21.3непрямапомірна111.0.0
pytest8.4.2непрямапомірна29.0.3

Сповіщення означає, що версія, записана в графі залежностей, потрапляє в уражений діапазон. Досяжність не аналізується, а граф містить піниї розробки й тестування — знахідка може стосуватися інструментів, а не поставленого коду.

Звіт у форматі JSON машиночитний

Зворотний зв’язок

Помітили щось хибне у цьому звіті або маєте чим поділитися? Неправильні вимірювання, непомічені інструменти, ідеї, запитання — усе доречно. Кожне повідомлення читається й отримує відповідь.

Повідомлення збережеться під час входу.

Пов’язані записи

Перевірені репозиторії, що мають спільні каталожні теги або екосистеми з lncrawl/scraper. Читати поруч →

67sardanioss/httpcloakGo HTTP client with browser-identical TLS/HTTP2 fingerprinting. Bypass bot detection by perfectly mimicking Chrome, Firefox, and Safari at the cryptographic level (JA3/JA4, Akamai fingerprint, header order). Supports HTTP/1.1, HTTP/2, HTTP/3, sessions, cookies, and proxies.Добрий98apify/crawlee-pythonCrawlee—A web scraping and browser automation library for Python to build reliable crawlers. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Parsel, BeautifulSoup, Playwright, and raw HTTP. Both headful and headless mode. With proxy rotation.Винятковий88feder-cr/invisible_playwrightFree antidetect browser stealth for Playwright: undetected headless Firefox fingerprint. Python scraping, recaptcha and bot detection bypass. Open sourceВідмінний810x676e67/wreq-pythonAn ergonomic, privacy-aware Python HTTP ClientВідмінний81cdpdriver/zendriverA blazing fast, async-first, undetectable webscraping/web automation framework based on ultrafunkamsterdam/nodriver. Now with Docker support!Відмінний80CloakHQ/CloakBrowserStealth Chromium that passes every bot detection test. Drop-in Playwright replacement with source-level fingerprint patches. 30/30 tests passed.Відмінний

Оцінки — це сигнали, а не гарантії. Вони відображають публічно видимі практики на GitHub — це не аудит коду й не гарантія безпеки.

Відсутні дані виключаються, а ваги перенормовуються — нуль за відсутність ніколи не ставиться. Методологія версіонована й відкрита: метрики v2.10.0, схема v0.27.0 — повна методологія · вікі метрик.

Як окремий результат виглядає на тлі всього реєстру: сукупна статистика — PyPI.