Packagist
mvdbos/php-spider
A configurable and extensible PHP web spider
MIT2026年10月19日 · 指标 2.10.0
全部标签
目录标签
#crawler
公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。
114 条记录
npm
mysleekdesigns/crawlforge-mcp
31 MCP tools that give Claude, Cursor and any MCP client the live web — scrape, crawl, search, real Google rank, change tracking, document parsing, plus an autonomous agent that researches from a plain-English prompt with no URLs. Clean Markdown and schema-validated JSON, not raw HTML. Local-Ollama extraction by default. MIT, 1,000 free credits.
MIT2026年10月21日 · 指标 2.10.0
Packagist
spatie/robots-txt
Determine if a page may be crawled from robots.txt, robots meta tags and robot headers
MIT2026年9月16日 · 指标 2.10.0
PyPI
scrapy-plugins/scrapy-zyte-smartproxy
Zyte Smart Proxy Manager (formerly Crawlera) middleware for Scrapy
BSD-3-Clause2026年9月20日 · 指标 2.10.0
Go
x-way/crawlerdetect
Golang module to detect bots and crawlers via the user agent
MIT2026年9月9日 · 指标 2.10.0
Go
krau/ManyACG
Collect, Download, Organize and Share your Favorite Anime Artworks.
AGPL-3.02026年10月20日 · 指标 2.10.0
NuGet
zzzprojects/html-agility-pack
Html Agility Pack (HAP) is a free and open-source HTML parser written in C# to read/write DOM and supports plain XPATH or XSLT. It is a .NET code library that allows you to parse "out of the web" HTML files.
MIT2026年10月20日 · 指标 2.10.0
Go · npm
Autumn-27/ScopeSentry
ScopeSentry-Cyberspace mapping, subdomain enumeration, port scanning, sensitive information discovery, vulnerability scanning, distributed nodes
无许可证2026年9月18日 · 指标 2.10.0
npm
ODATANO/NIGHTGATE
A CAP-based OData V4 gateway to the Midnight privacy chain, providing confidential on-chain data access and privacy-preserving transaction execution to any enterprise system
Apache-2.02026年9月10日 · 指标 2.10.0
RubyGems
loadkpi/crawler_detect
Ruby gem to detect bots and crawlers via the user agent
MIT2026年9月6日 · 指标 2.10.0
Go
uinaf/lincrawl
Local-first Linear work-graph archive CLI
MIT2026年7月21日 · 指标 2.10.0
PyPI · npm · crates.io +1
spider-rs/spider-clients
Python, Javascript, and Rust libraries for the Spider Cloud API.
MIT2026年9月9日 · 指标 2.10.0
npm
codepurse/SEOCORE
Enterprise-grade, multi-threaded SEO Crawler, Rule Engine, and Link Graph Analyzer. Built in TypeScript for speed, compliance, and deep site health audits.
MIT2026年9月9日 · 指标 2.10.0
PyPI
gabrielguarisa/brdata
Brazilian financial market data sources
无许可证2026年9月19日 · 指标 2.10.0
Maven
fanyong920/jvppeteer
Java API For Chrome and Firefox
Apache-2.02026年9月10日 · 指标 2.10.0
npm
olostep-api/olostep-js
nodejs SDK of the Olostep API
无许可证2026年9月15日 · 指标 2.10.0
npm
brandonkramer/pi-scraper
Pi extension for fast page scraping, recursive crawling, URL/site mapping, brand extraction, content diffing, PDF text extraction, and deterministic vertical extraction.
MIT2026年10月20日 · 指标 2.10.0
PyPI
codelucas/newspaper
newspaper3k is a news, full-text, and article metadata extraction in Python 3. Advanced docs:
MIT2026年9月17日 · 指标 2.10.0
Packagist
JayBizzle/Laravel-Crawler-Detect
A Laravel wrapper for CrawlerDetect - the web crawler detection library
MIT2026年9月14日 · 指标 2.10.0
Go
naiba/proxy-in-a-box
Automatic proxy pool for web scraping - crawls, validates, and rotates proxies with rate limiting and MITM support
MIT2026年10月19日 · 指标 2.10.0
npm
Kikobeats/top-crawler-agents
Curated list of common web crawler and bot User-Agent strings used across the internet.
MIT2026年9月19日 · 指标 2.10.0
Maven · npm
seart-group/ghs
GitHub Search: Platform used to crawl, store and present projects from GitHub, as well as any statistics related to them
MIT2026年9月19日 · 指标 2.10.0
Go
neumachen/gojira
Jira issue graph CLI and Go toolkit — fetch, crawl, mirror, and serve Jira issues with their links, PRs, and relationships
MIT2026年9月19日 · 指标 2.10.0
PyPI
tobybgy-lsd/web-agent-runtime-bench
Local-first failure diagnosis, auto collection, repair planning, AI handoff, and verification for Playwright, crawler, RPA, and agent workflows.
自定义许可证2026年9月13日 · 指标 2.10.0
NuGet
Laraue/Laraue.Crawling
The set of tools for fast writing crawlers on the .NET.
MIT2026年10月4日 · 指标 2.10.0
Packagist
jae-jae/QueryList
:spider: The progressive PHP crawler framework! 优雅的渐进式PHP采集框架。
无许可证2026年9月15日 · 指标 2.10.0
Go
mjc-gh/virgo
Convert a webpage into plaintext or markdown using the Chrome DevTool Protocol
BSD-3-Clause2026年9月10日 · 指标 2.10.0
Go
quantmind-br/repodocs
Go CLI for extracting websites, repositories, sitemaps, and package docs into structured Markdown
MIT2026年8月25日 · 指标 2.10.0
Packagist · npm
duzun/hQuery.php
An extremely fast web scraper that parses megabytes of invalid HTML in a blink of an eye. PHP5.3+, no dependencies.
MIT2026年9月14日 · 指标 2.10.0
npm
webscraping-ai/webscraping-ai-mcp-server
A Model Context Protocol (MCP) server implementation that integrates with WebScraping.AI for web data extraction capabilities.
无许可证2026年9月12日 · 指标 2.10.0