crawler — 开源软件健康

npm

99卓越健康指数

Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.

TypeScript · MDX★ 26.2K↓ 6.8M/月2026年10月19日

Apache-2.02026年10月19日 · 指标 2.10.0

PyPI · npm

99卓越健康指数

apify/crawlee-python

Crawlee—A web scraping and browser automation library for Python to build reliable crawlers. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Parsel, BeautifulSoup, Playwright, and raw HTTP. Both headful and headless mode. With proxy rotation.

Python · MDX★ 9,535↓ 975.8K/月2026年9月17日

Apache-2.02026年9月17日 · 指标 2.10.0

PyPI · npm

97卓越健康指数

apify/apify-sdk-python

Apify SDK for Python—The official library for building Apify Actors: serverless cloud programs for web scraping, browser automation, data processing, and AI agents. Manages the Actor lifecycle, storages (datasets, key-value stores, request queues), events, proxies, and pay-per-event monetization. Built on top of the the Apify API Client.

Python · MDX★ 176↓ 232.6K/月2026年9月11日

Apache-2.02026年9月11日 · 指标 2.10.0

PyPI

94卓越健康指数

D4Vinci/Scrapling

🕷️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ

Python★ 81.4K2026年9月16日

BSD-3-Clause2026年9月16日 · 指标 2.10.0

PyPI

94卓越健康指数

ScrapeGraphAI/Scrapegraph-ai

Python scraper based on AI

Python★ 31K2026年9月16日

MIT2026年9月16日 · 指标 2.10.0

Maven

94卓越健康指数

apache/stormcrawler

A scalable, mature and versatile web crawler based on Apache Storm

Java★ 1,0082026年10月19日

Apache-2.02026年10月19日 · 指标 2.10.0

npm

94卓越健康指数

apify/apify-client-js

Apify API client for JavaScript / Node.js.

TypeScript★ 90↓ 1.4M/月2026年9月20日

Apache-2.02026年9月20日 · 指标 2.10.0

PyPI · Packagist · crates.io +2

94卓越健康指数

firecrawl/firecrawl

The context API to search, scrape, and interact with the web at scale. 🔥

TypeScript · Python★ 181.1K↓ 5.8M/月2026年9月16日

AGPL-3.02026年9月16日 · 指标 2.10.0

94卓越健康指数

projectdiscovery/katana

A next-generation crawling and spidering framework.

Go★ 17.7K2026年10月19日

MIT2026年10月19日 · 指标 2.10.0

npm

92优秀健康指数

apify/apify-sdk-js

Apify SDK monorepo

MDX · TypeScript★ 186↓ 178.2K/月2026年9月12日

Apache-2.02026年9月12日 · 指标 2.10.0

NuGet

92优秀健康指数

hardkoded/puppeteer-sharp

Headless Chrome .NET API

C#★ 3,9162026年8月28日

MIT2026年8月28日 · 指标 2.10.0

PyPI

92优秀健康指数

mikf/gallery-dl

Command-line program to download image galleries and collections from several image hosting sites

Python★ 19.7K↓ 320.4K/月2026年9月16日

GPL-2.02026年9月16日 · 指标 2.10.0

PyPI

91优秀健康指数

adbar/trafilatura

Python & Command-line tool to gather text and metadata on the Web: Crawling, scraping, extraction, output as CSV, JSON, HTML, MD, TXT, XML

Python★ 6,718↓ 14M/月2026年8月28日

Apache-2.02026年8月28日 · 指标 2.10.0

crates.io · npm · PyPI

91优秀健康指数

fastcrw/crw

Fast, lightweight Firecrawl/Tavily alternative in Rust. Web scraper, crawler & search API with MCP server for AI agents. Drop-in Firecrawl-compatible API (/scrape, /crawl, /search). 2.3x faster than Tavily, 1.5x faster than Firecrawl in 1K-URL benchmarks. 6 MB RAM, single binary. Self-host or use managed cloud.

Rust★ 1,095↓ 10.6K/月2026年10月2日

AGPL-3.02026年10月2日 · 指标 2.10.0

crates.io · npm · PyPI

91优秀健康指数

us/crw

Rust★ 1,032↓ 10.7K/月2026年9月16日

AGPL-3.02026年9月16日 · 指标 2.10.0

PyPI · npm

90优秀健康指数

apify/fingerprint-suite

Browser fingerprinting tools for anonymizing your scrapers. Developed by Apify.

TypeScript · JavaScript★ 2,599↓ 2M/月2026年9月17日

Apache-2.02026年9月17日 · 指标 2.10.0

crates.io

89优秀健康指数

0x676e67/wreq

An ergonomic, privacy-aware Rust HTTP Client

Rust★ 1,076↓ 222.8K/月2026年10月20日

Apache-2.02026年10月20日 · 指标 2.10.0

npm

89优秀健康指数

JustinBeckwith/linkinator

Broken link checker that crawls websites and validates links. Find broken links, dead links, and invalid URLs in websites, documentation, and local files. Perfect for SEO audits and CI/CD.

TypeScript★ 1,269↓ 691.2K/月2026年10月3日

MIT2026年10月3日 · 指标 2.10.0

npm · crates.io

89优秀健康指数

sqdshguy/wreq-js

HTTP client for Node.js with browser TLS fingerprint impersonation

TypeScript · Rust★ 402↓ 498.7K/月2026年9月23日

MIT2026年9月23日 · 指标 2.10.0

Packagist

89优秀健康指数

tomasnorre/crawler

Libraries and scripts for crawling the TYPO3 page tree. Used for re-caching, re-indexing, publishing applications etc.

PHP★ 58↓ 10.7K/月2026年10月20日

GPL-3.02026年10月20日 · 指标 2.10.0

npm · PyPI

89优秀健康指数

webrecorder/browsertrix-crawler

Run a high-fidelity browser-based web archiving crawler in a single Docker container

TypeScript★ 1,1172026年8月24日

AGPL-3.02026年8月24日 · 指标 2.10.0

Maven

88优秀健康指数

TeamNewPipe/NewPipeExtractor

NewPipe's core library for extracting data from streaming sites

Java★ 1,9722026年9月17日

GPL-3.02026年9月17日 · 指标 2.10.0

npm

88优秀健康指数

zorillajs/zorilla

Zorilla is a modular plugin framework that extends Puppeteer and Playwright with additional functionality through a clean plugin architecture. Build powerful browser automation with composable plugins for stealth mode, captcha solving, ad blocking, and much more.

TypeScript · JavaScript★ 30↓ 25.5K/月2026年9月14日

MIT2026年9月14日 · 指标 2.10.0

PyPI · crates.io

87优秀健康指数