apify/crawleeCrawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.
TypeScript · MDX★ 26.2K↓ 6.8M/月2026年10月19日
apify/crawlee-pythonCrawlee—A web scraping and browser automation library for Python to build reliable crawlers. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Parsel, BeautifulSoup, Playwright, and raw HTTP. Both headful and headless mode. With proxy rotation.
Python · MDX★ 9,535↓ 975.8K/月2026年9月17日
apify/apify-sdk-pythonApify SDK for Python—The official library for building Apify Actors: serverless cloud programs for web scraping, browser automation, data processing, and AI agents. Manages the Actor lifecycle, storages (datasets, key-value stores, request queues), events, proxies, and pay-per-event monetization. Built on top of the the Apify API Client.
Python · MDX★ 176↓ 232.6K/月2026年9月11日
cheeriojs/cheerioThe fast, flexible, and elegant library for parsing and manipulating HTML and XML.
TypeScript · HTML · Astro★ 30.5K↓ 105M/月2026年9月16日
D4Vinci/Scrapling🕷️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ
Python★ 81.4K2026年9月16日
TypeScript★ 90↓ 1.4M/月2026年9月20日
PyPI · Packagist · crates.io +294卓越健康指数
TypeScript · Python★ 181.1K↓ 5.8M/月2026年9月16日
MDX · TypeScript★ 186↓ 178.2K/月2026年9月12日
mikf/gallery-dlCommand-line program to download image galleries and collections from several image hosting sites
Python★ 19.7K↓ 320.4K/月2026年9月16日
adbar/trafilaturaPython & Command-line tool to gather text and metadata on the Web: Crawling, scraping, extraction, output as CSV, JSON, HTML, MD, TXT, XML
Python★ 6,718↓ 14M/月2026年8月28日
crates.io · npm · PyPI91优秀健康指数
fastcrw/crwFast, lightweight Firecrawl/Tavily alternative in Rust. Web scraper, crawler & search API with MCP server for AI agents. Drop-in Firecrawl-compatible API (/scrape, /crawl, /search). 2.3x faster than Tavily, 1.5x faster than Firecrawl in 1K-URL benchmarks. 6 MB RAM, single binary. Self-host or use managed cloud.
Rust★ 1,095↓ 10.6K/月2026年10月2日
Python★ 137↓ 11.5K/月2026年10月19日
crates.io · npm · PyPI91优秀健康指数
us/crwFast, lightweight Firecrawl/Tavily alternative in Rust. Web scraper, crawler & search API with MCP server for AI agents. Drop-in Firecrawl-compatible API (/scrape, /crawl, /search). 2.3x faster than Tavily, 1.5x faster than Firecrawl in 1K-URL benchmarks. 6 MB RAM, single binary. Self-host or use managed cloud.
Rust★ 1,032↓ 10.7K/月2026年9月16日
TypeScript · JavaScript★ 2,599↓ 2M/月2026年9月17日
Rust★ 1,076↓ 222.8K/月2026年10月20日
Xquik-dev/tweetclawOpenClaw plugin for Twitter search, follower exports, monitoring & approved X actions. Not affiliated with X Corp.
TypeScript · JavaScript★ 91↓ 1,114/月2026年9月10日
Java★ 1,9722026年9月17日
Python★ 182↓ 12.1K/月2026年10月3日
microlinkhq/metascraperScrape metadata from any URL using Open Graph, JSON-LD, HTML meta tags, and smart fallbacks.
HTML★ 2,747↓ 1.6M/月2026年10月18日
Rust · Python★ 1,4412026年9月17日
getmaxun/maxun🔥 The open-source no-code platform for web scraping, crawling, search and AI data extraction • Turn websites into structured APIs in minutes 🔥
TypeScript★ 17.5K2026年9月16日
ZenRows/zenrows-python-sdkSDK to access Zenrows API directly from Python. We handle proxies rotation, headless browsers and CAPTCHAs for you.
Python★ 21↓ 211.5K/月2026年10月16日
huginn/huginnCreate agents that monitor and act on your behalf. Your agents are standing by!
Ruby★ 50K2026年9月16日
Rust★ 2,790↓ 24.2K/月2026年10月20日
Python · HTML★ 2432026年9月12日
Jupyter Notebook · Python★ 43↓ 5,194/月2026年10月4日
bdperkin/gamesheet-sdk-pyUnofficial Python SDK and CLI for the GameSheet Inc. platform — automates WebUI procedures where a native API is absent.
Python★ 1↓ 2,468/月2026年9月16日
html2rss/html2rss📰 Build RSS 2.0 feeds from websites (and JSON APIs) automatically or with a few CSS selectors.
Ruby★ 1632026年9月17日
vladkens/twscrapePython library and CLI for X/Twitter scraping with multi-account rotation and built-in rate-limit handling.
Python★ 2,782↓ 81.7K/月2026年9月18日
Python★ 8442026年9月20日
