Усі теги
Тег каталогу

#spider

Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.

26 записів
З тегом «spider»Упорядковано за індексом здоров'я
PyPI
94Винятковийіндекс здоров'я
akfamily/akshare
AKShare is an elegant and simple financial data interface library for Python, built for human beings! 开源财经数据接口库
Python · JavaScript★ 22.6K16 вер. 2026 р.
MIT16 вер. 2026 р. · метрики 2.10.0
npm
89Відміннийіндекс здоров'я
JustinBeckwith/linkinator
Broken link checker that crawls websites and validates links. Find broken links, dead links, and invalid URLs in websites, documentation, and local files. Perfect for SEO audits and CI/CD.
TypeScript★ 1 269↓ 691.2K/міс3 жовт. 2026 р.
MIT3 жовт. 2026 р. · метрики 2.10.0
PyPI
87Відміннийіндекс здоров'я
DedSecInside/TorBot
Dark Web OSINT Tool
Python★ 4 72628 серп. 2026 р.
Власна ліцензія28 серп. 2026 р. · метрики 2.10.0
crates.io
84Відміннийіндекс здоров'я
spider-rs/spider
Foundational low latency web data collecting in Rust
Rust★ 2 790↓ 24.2K/міс20 жовт. 2026 р.
MIT20 жовт. 2026 р. · метрики 2.10.0
Packagist
80Відміннийіндекс здоров'я
JayBizzle/Crawler-Detect
🕷 CrawlerDetect is a PHP class for detecting bots/crawlers/spiders via the user agent
PHP★ 2 401↓ 2.6M/міс27 серп. 2026 р.
MIT27 серп. 2026 р. · метрики 2.10.0
npm · Packagist · crates.io +1
78Добрийіндекс здоров'я
xberg-io/crawlberg
High-performance web crawling engine with bindings for 11 languages
Rust★ 173↓ 1 094/міс15 вер. 2026 р.
MIT15 вер. 2026 р. · метрики 2.10.0
Maven
77Добрийіндекс здоров'я
Norconex/crawler
Norconex Crawlers (or spiders) are flexible web and filesystem crawlers for collecting, parsing, and manipulating data from the web or filesystem to various data repositories such as search engines.
Java★ 20521 жовт. 2026 р.
Apache-2.021 жовт. 2026 р. · метрики 2.10.0
npm
71Добрийіндекс здоров'я
rodrigogs/pornhub
pornhub API library
TypeScript★ 8↓ 2 070/міс18 вер. 2026 р.
BSD-3-Clause18 вер. 2026 р. · метрики 2.10.0
Go
69Добрийіндекс здоров'я
gosom/scrapemate
Golang Crawling and scraping framework
Go★ 21015 вер. 2026 р.
MIT15 вер. 2026 р. · метрики 2.10.0
PyPI
69Добрийіндекс здоров'я
moskrc/crawlerdetect
🕷CrawlerDetect is a Python library designed to identify bots, crawlers, and spiders by analyzing their user agents.
Python★ 45↓ 53.4K/міс14 вер. 2026 р.
MIT14 вер. 2026 р. · метрики 2.10.0
Packagist
69Добрийіндекс здоров'я
mvdbos/php-spider
A configurable and extensible PHP web spider
PHP★ 1 342↓ 1 502/міс19 жовт. 2026 р.
MIT19 жовт. 2026 р. · метрики 2.10.0
Go
67Добрийіндекс здоров'я
x-way/crawlerdetect
Golang module to detect bots and crawlers via the user agent
Go★ 709 вер. 2026 р.
MIT9 вер. 2026 р. · метрики 2.10.0
NuGet
65Добрийіндекс здоров'я
zzzprojects/html-agility-pack
Html Agility Pack (HAP) is a free and open-source HTML parser written in C# to read/write DOM and supports plain XPATH or XSLT. It is a .NET code library that allows you to parse "out of the web" HTML files.
C# · HTML★ 2 85120 жовт. 2026 р.
MIT20 жовт. 2026 р. · метрики 2.10.0
RubyGems
63Помірнийіндекс здоров'я
loadkpi/crawler_detect
Ruby gem to detect bots and crawlers via the user agent
Ruby★ 1486 вер. 2026 р.
MIT6 вер. 2026 р. · метрики 2.10.0
NuGet
62Помірнийіндекс здоров'я
Senparc/Senparc.CO2NET
Base Common Library, support for.NET Framework &.NET Core
C#★ 36411 вер. 2026 р.
Apache-2.011 вер. 2026 р. · метрики 2.10.0
PyPI · npm · crates.io +1
62Помірнийіндекс здоров'я
spider-rs/spider-clients
Python, Javascript, and Rust libraries for the Spider Cloud API.
Rust · Python · Go★ 26↓ 365K/міс9 вер. 2026 р.
MIT9 вер. 2026 р. · метрики 2.10.0
Packagist
56Помірнийіндекс здоров'я
JayBizzle/Laravel-Crawler-Detect
A Laravel wrapper for CrawlerDetect - the web crawler detection library
PHP★ 326↓ 68.7K/міс14 вер. 2026 р.
MIT14 вер. 2026 р. · метрики 2.10.0
npm
54Помірнийіндекс здоров'я
Kikobeats/top-crawler-agents
Curated list of common web crawler and bot User-Agent strings used across the internet.
JavaScript★ 29↓ 1 103/міс19 вер. 2026 р.
MIT19 вер. 2026 р. · метрики 2.10.0
Packagist
51Помірнийіндекс здоров'я
jae-jae/QueryList
:spider: The progressive PHP crawler framework! 优雅的渐进式PHP采集框架。
PHP★ 2 690↓ 6 685/міс15 вер. 2026 р.
Без ліцензії15 вер. 2026 р. · метрики 2.10.0
Packagist
47Слабкийіндекс здоров'я
terminal42/escargot
A web crawler or spider library based on Symfony components
PHP★ 59↓ 51K/міс12 жовт. 2026 р.
Без ліцензії12 жовт. 2026 р. · метрики 2.10.0
Packagist
41Слабкийіндекс здоров'я
zorlan/skycaiji
蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统
PHP★ 2 09114 вер. 2026 р.
Власна ліцензія14 вер. 2026 р. · метрики 2.10.0
NuGet
33У зоні ризикуіндекс здоров'я
SoftCircuits/HtmlMonkey
Lightweight HTML/XML parser written in C#.
C#★ 6315 вер. 2026 р.
Власна ліцензія15 вер. 2026 р. · метрики 2.10.0
—
33У зоні ризикуіндекс здоров'я
spidersuite/SpiderSuite
SpiderSuite (web security crawler) releases, wiki and roadmap
Змішані★ 97920 вер. 2026 р.
Без ліцензії20 вер. 2026 р. · метрики 2.10.0
crates.io
27У зоні ризикуіндекс здоров'я
spider-rs/spider_remote_cache
Опис репозиторію не опубліковано.
Rust★ 0↓ 2 729/міс3 жовт. 2026 р.
Без ліцензії3 жовт. 2026 р. · метрики 2.10.0
Maven
23У зоні ризикуіндекс здоров'я
ssssssss-team/spider-flow
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
Java★ 11.4K27 серп. 2026 р.
MIT27 серп. 2026 р. · метрики 2.10.0
PyPI
22У зоні ризикуіндекс здоров'я
0-EternalJunior-0/GraphCrawler
Python бібліотека для сканування веб-сайтів та побудови графу їх структури.
Python · HTML★ 1↓ 4 246/міс1 серп. 2026 р.
MIT1 серп. 2026 р. · метрики 2.10.0