全部标签
目录标签

#web-scraping

公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。

107 条记录
标签为“web-scraping”按健康指数排序
PyPI
81优秀健康指数
ArchiveBox/abx-plugins
🧩 Plugins and extractors that ArchiveBox + abx-dl use: chrome, ytdlp, wget, singlefile, readability, forum-dl, gallery-dl, papers-dl, and more...
Python · JavaScript★ 8↓ 41.2K/月2026年7月27日
MIT2026年7月27日 · 指标 2.10.0
PyPI · crates.io · npm
81优秀健康指数
bug-ops/scrape-rs
🦀 High-performance HTML parsing library. Rust core with native bindings for Python, Node.js & WASM. SIMD-accelerated, memory-safe, consistent API everywhere.
Rust★ 10↓ 6,257/月2026年9月5日
Apache-2.02026年9月5日 · 指标 2.10.0
npm · crates.io
81优秀健康指数
olo-dot-io/uni-cli
Operations substrate for AI agents that use real software: 311 sites/tools, logged-in browsers, desktop apps, local tools, MCP, policy, evidence, AgentEnvelope v2, and self-repair.
TypeScript★ 87↓ 1,161/月2026年7月17日
Apache-2.02026年7月17日 · 指标 2.10.0
PyPI · npm
80优秀健康指数
CloakHQ/CloakBrowser
Stealth Chromium that passes every bot detection test. Drop-in Playwright replacement with source-level fingerprint patches. 30/30 tests passed.
Python · C# · TypeScript★ 29.6K↓ 1M/月2026年8月5日
MIT2026年8月5日 · 指标 2.10.0
Go
80优秀健康指数
HappyHackingSpace/dit
HTML page, form and field type classifier using ML (LogReg + CRF)
Go★ 172026年7月22日
MIT2026年7月22日 · 指标 2.10.0
npm
80优秀健康指数
brightdata/brightdata-mcp
A powerful Model Context Protocol (MCP) server that provides an all-in-one solution for public web access.
JavaScript★ 2,614↓ 28.7K/月2026年8月28日
MIT2026年8月28日 · 指标 2.10.0
Go
80优秀健康指数
karust/openserp
Self-hosted SERP API for AI, SEO & automation. Browser-rendered Google, Bing, Yandex, Baidu, DuckDuckGo and Ecosia search with page extraction 🎉
Go★ 1,2622026年8月14日
MIT2026年8月14日 · 指标 2.10.0
Go · npm
80优秀健康指数
klarlabs-studio/scout
Browser automation, one binary. The simpler alternative to Playwright — no Node, no Python, no runtime. Library, CLI, MCP server, and chat UI for any AI agent.
Go★ 112026年9月5日
MIT2026年9月5日 · 指标 2.10.0
npm
80优秀健康指数
microlinkhq/browserless
The headless Chrome/Chromium driver on top of Puppeteer. Take screenshots, generate PDFs, extract text and HTML with a production-ready API.
JavaScript★ 1,8262026年7月18日
MIT2026年7月18日 · 指标 2.10.0
Go · PyPI
80优秀健康指数
zoharbabin/web-researcher-mcp
The AI research assistant that cites real sources honestly — and searches the web. Your AI research assistant that cites real sources and stays honest. Works with Claude, Cursor, any MCP client.
Go★ 422026年7月20日
MIT2026年7月20日 · 指标 2.10.0
crates.io
78良好健康指数
0x676e67/wreq-util
Common utilities for wreq
Rust★ 90↓ 209.7K/月2026年9月5日
Apache-2.02026年9月5日 · 指标 2.10.0
npm
78良好健康指数
MrAdex77/google-play-scraper
Google Play scraper for Node.js with a fully typed TypeScript API. App details, search, top charts, reviews, permissions and data safety. A modern replacement for the unmaintained google-play-scraper.
TypeScript★ 5↓ 4,236/月2026年7月23日
MIT2026年7月23日 · 指标 2.10.0
PyPI
78良好健康指数
adbar/htmldate
Fast and robust date extraction from web pages, with Python or on the command-line
Python★ 155↓ 15M/月2026年8月27日
Apache-2.02026年8月27日 · 指标 2.10.0
Go
78良好健康指数
kinorai/omnifeed
LLM-friendly web crawler & scraper with a dedicated Reddit engine, built on Crawl4AI — Open WebUI compatible
Go★ 62026年9月3日
MIT2026年9月3日 · 指标 2.10.0
PyPI
78良好健康指数
rushter/selectolax
Python binding to Modest and Lexbor engines. Fast HTML5 parser with CSS selectors for Python.
Cython · Python★ 1,6562026年7月20日
MIT2026年7月20日 · 指标 2.10.0
npm
78良好健康指数
vmoranv/jshookmcp
js hook toolkit that all you need
TypeScript★ 1,756↓ 3,417/月2026年7月18日
AGPL-3.02026年7月18日 · 指标 2.10.0
npm · crates.io · Packagist +1
78良好健康指数
xberg-io/crawlberg
High-performance web crawling engine with bindings for 11 languages
Rust★ 149↓ 685/月2026年8月1日
MIT2026年8月1日 · 指标 2.10.0
npm
77良好健康指数
n1byn1kt/apitap
CLI, MCP server, and npm library that turns any website into an API — no docs, no SDK, no browser.
TypeScript★ 123↓ 2,030/月2026年8月5日
Apache-2.02026年8月5日 · 指标 2.10.0
npm · crates.io
75良好健康指数
0xMassi/webclaw
Fast, local-first web content extraction for LLMs. Scrape, crawl, extract structured data — all from Rust. CLI, REST API, and MCP server.
Rust★ 2,066↓ 424/月2026年7月26日
AGPL-3.02026年7月26日 · 指标 2.10.0
npm
73良好健康指数
firecrawl/cli
CLI and Agent Skill for Firecrawl - Add scrape, search, and browsing capabilities to your AI agents
TypeScript · JavaScript★ 539↓ 78.1K/月2026年7月26日
无许可证2026年7月26日 · 指标 2.10.0
npm
71良好健康指数
F4RAN/cuimp-ts
A Node.js wrapper for curl-impersonate that allows you to make HTTP requests that mimic real browser behavior, bypassing many anti-bot protections.
TypeScript★ 89↓ 22.7K/月2026年8月1日
无许可证2026年8月1日 · 指标 2.10.0
npm
71良好健康指数
alexandriashai/cbrowser
Cognitive Browser: The browser automation that thinks. Constitutional safety • Persona UX testing • Natural language interface • Self-healing selectors • Built for AI agents
TypeScript · JavaScript★ 18↓ 2,900/月2026年7月17日
自定义许可证2026年7月17日 · 指标 2.10.0
npm
71良好健康指数
intoli/user-agents
A JavaScript library for generating random user agents with data that's updated daily.
TypeScript · JavaScript★ 1,189↓ 812.5K/月2026年9月5日
自定义许可证2026年9月5日 · 指标 2.10.0
npm
71良好健康指数
scrape-badger/scrapebadger-node
Official Node.js SDK for ScrapeBadger - Async web scraping APIs for Twitter and more
TypeScript★ 2↓ 3,672/月2026年9月5日
MIT2026年9月5日 · 指标 2.10.0
Go · npm
69良好健康指数
1broseidon/ketch
Fast, stateless CLI for web search and scrape. Built for AI agents.
Go★ 3882026年7月18日
MIT2026年7月18日 · 指标 2.10.0
Go
69良好健康指数
ChristopherDavenport/unblink
Pure-Go browser for AI: fetch pages, optionally render JS (no Chromium), get clean token-budgeted Markdown over MCP
Go★ 72026年7月22日
MIT2026年7月22日 · 指标 2.10.0
PyPI
69良好健康指数
ebarti/jobstreaming
Concurrent, resumable job collection for Python with typed events, durable checkpoints, normalized models, and a DataFrame API.
Python★ 0↓ 2,749/月2026年8月29日
MIT2026年8月29日 · 指标 2.10.0
Go
67良好健康指数
gosom/scrapemate
Golang Crawling and scraping framework
Go★ 2072026年8月2日
MIT2026年8月2日 · 指标 2.10.0
Go · npm
67良好健康指数
sardanioss/httpcloak
Go HTTP client with browser-identical TLS/HTTP2 fingerprinting. Bypass bot detection by perfectly mimicking Chrome, Firefox, and Safari at the cryptographic level (JA3/JA4, Akamai fingerprint, header order). Supports HTTP/1.1, HTTP/2, HTTP/3, sessions, cookies, and proxies.
Go · C#★ 1,1612026年7月15日
MIT2026年7月15日 · 指标 2.10.0