web-crawler — 开源软件健康

npm

84良好健康指数

Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.

TypeScript · MDX★ 24.8K2026年7月19日

Apache-2.02026年7月19日 · 指标 1.13.0

—

81良好健康指数

mendableai/firecrawl

The API to search, scrape, and interact with the web at scale. 🔥

TypeScript · Python★ 151.8K2026年7月16日

AGPL-3.02026年7月16日 · 指标 1.13.0

—

80良好健康指数

firecrawl/firecrawl

The API to search, scrape, and interact with the web at scale. 🔥

TypeScript★ 149.9K↓ 0/月2026年7月13日

AGPL-3.02026年7月13日 · 指标 1.13.0

npm

73良好健康指数

KnockOutEZ/wigolo

The go-to web for your AI coding agent — local-first search, fetch, crawl & research over MCP. No API keys, no cloud, $0/query. Public beta.

TypeScript★ 3,201↓ 3,522/月2026年7月22日

自定义许可证2026年7月22日 · 指标 1.13.0

crates.io

71良好健康指数

spider-rs/spider

Get web data for AI agents and LLMs

Rust★ 2,601↓ 52.8K/月2026年7月14日

MIT2026年7月14日 · 指标 1.13.0

npm

68中等健康指数

microlinkhq/browserless

The headless Chrome/Chromium driver on top of Puppeteer. Take screenshots, generate PDFs, extract text and HTML with a production-ready API.

JavaScript★ 1,8262026年7月18日

MIT2026年7月18日 · 指标 1.13.0

crates.io · npm · Packagist +1

64中等健康指数

xberg-io/crawlberg

High-performance web crawling engine with bindings for 11 languages

Rust★ 140↓ 0/月2026年7月14日

MIT2026年7月14日 · 指标 1.13.0

npm · crates.io · Go +1

58中等健康指数

spider-rs/spider-clients

Python, Javascript, and Rust libraries for the Spider Cloud API.

Rust · Python · Go★ 26↓ 16.3K/月2026年7月16日

MIT2026年7月16日 · 指标 1.13.0

npm

57中等健康指数

mysleekdesigns/crawlforge-mcp

26-tool MCP server for web scraping, crawling, deep research & autonomous extraction — clean Markdown & structured JSON for Claude, Cursor & any MCP client. 1,000 free credits, local-Ollama LLM support.

JavaScript★ 1↓ 2,975/月2026年7月14日

MIT2026年7月14日 · 指标 1.13.0

Maven

25危急健康指数

ssssssss-team/spider-flow

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

Java★ 11.3K2026年7月21日

MIT2026年7月21日 · 指标 1.13.0

#web-crawler