PyPI
akfamily/akshare
AKShare is an elegant and simple financial data interface library for Python, built for human beings! 开源财经数据接口库
MIT2026年9月16日 · 指标 2.10.0
全部标签
目录标签
#spider
公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。
26 条记录
npm
JustinBeckwith/linkinator
Broken link checker that crawls websites and validates links. Find broken links, dead links, and invalid URLs in websites, documentation, and local files. Perfect for SEO audits and CI/CD.
MIT2026年10月3日 · 指标 2.10.0
PyPI
DedSecInside/TorBot
Dark Web OSINT Tool
自定义许可证2026年8月28日 · 指标 2.10.0
crates.io
spider-rs/spider
Foundational low latency web data collecting in Rust
MIT2026年10月20日 · 指标 2.10.0
Packagist
JayBizzle/Crawler-Detect
🕷 CrawlerDetect is a PHP class for detecting bots/crawlers/spiders via the user agent
MIT2026年8月27日 · 指标 2.10.0
npm · Packagist · crates.io +1
xberg-io/crawlberg
High-performance web crawling engine with bindings for 11 languages
MIT2026年9月15日 · 指标 2.10.0
Maven
Norconex/crawler
Norconex Crawlers (or spiders) are flexible web and filesystem crawlers for collecting, parsing, and manipulating data from the web or filesystem to various data repositories such as search engines.
Apache-2.02026年10月21日 · 指标 2.10.0
npm
rodrigogs/pornhub
pornhub API library
BSD-3-Clause2026年9月18日 · 指标 2.10.0
Go
gosom/scrapemate
Golang Crawling and scraping framework
MIT2026年9月15日 · 指标 2.10.0
PyPI
moskrc/crawlerdetect
🕷CrawlerDetect is a Python library designed to identify bots, crawlers, and spiders by analyzing their user agents.
MIT2026年9月14日 · 指标 2.10.0
Packagist
mvdbos/php-spider
A configurable and extensible PHP web spider
MIT2026年10月19日 · 指标 2.10.0
Go
x-way/crawlerdetect
Golang module to detect bots and crawlers via the user agent
MIT2026年9月9日 · 指标 2.10.0
NuGet
zzzprojects/html-agility-pack
Html Agility Pack (HAP) is a free and open-source HTML parser written in C# to read/write DOM and supports plain XPATH or XSLT. It is a .NET code library that allows you to parse "out of the web" HTML files.
MIT2026年10月20日 · 指标 2.10.0
RubyGems
loadkpi/crawler_detect
Ruby gem to detect bots and crawlers via the user agent
MIT2026年9月6日 · 指标 2.10.0
NuGet
Senparc/Senparc.CO2NET
Base Common Library, support for.NET Framework &.NET Core
Apache-2.02026年9月11日 · 指标 2.10.0
PyPI · npm · crates.io +1
spider-rs/spider-clients
Python, Javascript, and Rust libraries for the Spider Cloud API.
MIT2026年9月9日 · 指标 2.10.0
Packagist
JayBizzle/Laravel-Crawler-Detect
A Laravel wrapper for CrawlerDetect - the web crawler detection library
MIT2026年9月14日 · 指标 2.10.0
npm
Kikobeats/top-crawler-agents
Curated list of common web crawler and bot User-Agent strings used across the internet.
MIT2026年9月19日 · 指标 2.10.0
Packagist
jae-jae/QueryList
:spider: The progressive PHP crawler framework! 优雅的渐进式PHP采集框架。
无许可证2026年9月15日 · 指标 2.10.0
Packagist
terminal42/escargot
A web crawler or spider library based on Symfony components
无许可证2026年10月12日 · 指标 2.10.0
Packagist
zorlan/skycaiji
蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统
自定义许可证2026年9月14日 · 指标 2.10.0
NuGet
SoftCircuits/HtmlMonkey
Lightweight HTML/XML parser written in C#.
自定义许可证2026年9月15日 · 指标 2.10.0
—
spidersuite/SpiderSuite
SpiderSuite (web security crawler) releases, wiki and roadmap
无许可证2026年9月20日 · 指标 2.10.0
crates.io
spider-rs/spider_remote_cache
该仓库未发布描述。
无许可证2026年10月3日 · 指标 2.10.0
Maven
ssssssss-team/spider-flow
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
MIT2026年8月27日 · 指标 2.10.0
PyPI
0-EternalJunior-0/GraphCrawler
Python бібліотека для сканування веб-сайтів та побудови графу їх структури.
MIT2026年8月1日 · 指标 2.10.0