目录标签

#web-scraping

公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。

61 条记录

标签为“web-scraping”按健康指数排序

Go · npm

61中等健康指数

Go HTTP client with browser-identical TLS/HTTP2 fingerprinting. Bypass bot detection by perfectly mimicking Chrome, Firefox, and Safari at the cryptographic level (JA3/JA4, Akamai fingerprint, header order). Supports HTTP/1.1, HTTP/2, HTTP/3, sessions, cookies, and proxies.

Go · C#★ 1,1612026年7月15日

MIT2026年7月15日 · 指标 1.13.0

npm

61中等健康指数

scrape-badger/scrapebadger-node

Official Node.js SDK for ScrapeBadger - Async web scraping APIs for Twitter and more

TypeScript★ 2↓ 2,131/月2026年7月14日

MIT2026年7月14日 · 指标 1.13.0

npm

59中等健康指数

apmantza/pi-webaio

AiO webtools for Pi: Search, Fetch, Pull

TypeScript · JavaScript★ 11↓ 1,369/月2026年7月15日

MIT2026年7月15日 · 指标 1.13.0

59中等健康指数

danieljustus/symaira-fetch

AI-native web fetch engine for LLM agents — browser impersonation, semantic DOM pipeline, MCP server. CGO-free Go.

Go★ 1↓ 0/月2026年7月14日

自定义许可证2026年7月14日 · 指标 1.13.0

59中等健康指数

dotcommander/defuddle

Go library and CLI for extracting web page content — articles, metadata, and clean text from any URL

Go★ 22026年7月17日

MIT2026年7月17日 · 指标 1.13.0

PyPI

58中等健康指数

clearcotelabs/clearcote-browser

Open-source stealth Chromium 149 with engine-level fingerprint spoofing - de-Googled, drop-in Playwright, fully buildable and verifiable from source.

Python · TypeScript · C#★ 31↓ 141/月2026年7月18日

BSD-3-Clause2026年7月18日 · 指标 1.13.0

crates.io · PyPI

58中等健康指数

deedy5/primp

HTTP client that can impersonate web browser tls/http2 fingerprints

Rust★ 560↓ 2,133/月2026年7月21日

MIT2026年7月21日 · 指标 1.13.0

npm · crates.io · Go +1

58中等健康指数

spider-rs/spider-clients

Python, Javascript, and Rust libraries for the Spider Cloud API.

Rust · Python · Go★ 26↓ 16.3K/月2026年7月16日

MIT2026年7月16日 · 指标 1.13.0

npm

57中等健康指数

ashaychangwani/imprint

Record a browser workflow once, get a deterministic MCP tool your AI agent can call. Zero tokens at runtime. Postman for AI agents.

TypeScript★ 18↓ 2,525/月2026年7月23日

MIT2026年7月23日 · 指标 1.13.0

npm

57中等健康指数

mysleekdesigns/crawlforge-mcp

26-tool MCP server for web scraping, crawling, deep research & autonomous extraction — clean Markdown & structured JSON for Claude, Cursor & any MCP client. 1,000 free credits, local-Ollama LLM support.

JavaScript★ 1↓ 2,975/月2026年7月14日

MIT2026年7月14日 · 指标 1.13.0

PyPI

56中等健康指数

Kaliiiiiiiiii-Vinyzu/patchright-python

Undetected Python version of the Playwright testing and automation library.

Python★ 1,4332026年7月21日

Apache-2.02026年7月21日 · 指标 1.13.0

npm

56中等健康指数

cherchyk/MCPBrowser

该仓库未发布描述。

JavaScript★ 8↓ 1,837/月2026年7月15日

MIT2026年7月15日 · 指标 1.13.0

PyPI

55中等健康指数

dondai1234/master-fetch

MCP server for web fetching with Cloudflare bypass, Trafilatura extraction, and smart routing. Free, self-hosted, no API keys.

Python · HTML★ 33↓ 4,672/月2026年7月18日

MIT2026年7月18日 · 指标 1.13.0

55中等健康指数

glim-sh/cuttle

Camouflage for browsers: a stealth-Chromium CDP farm where every fingerprint seed is its own undetectable browser (per-seed fingerprint, proxy, geo). Free forks, no proprietary binary.

Go★ 02026年7月20日

MIT2026年7月20日 · 指标 1.13.0

npm

54中等健康指数

intoli/user-agents

A JavaScript library for generating random user agents with data that's updated daily.

TypeScript · JavaScript★ 1,181↓ 735.4K/月2026年7月15日

自定义许可证2026年7月15日 · 指标 1.13.0

Go · PyPI

54中等健康指数

joakimcarlsson/bonk

Go-native browser automation via Chrome DevTools Protocol. No Node.js, no relay process, no external dependencies.

Go★ 13↓ 0/月2026年7月14日

MIT2026年7月14日 · 指标 1.13.0

52中等健康指数

tamnd/martinfowler-cli

Fetch Martin Fowler's technical articles, bliki posts, and book entries from the terminal

Go · Python★ 02026年7月22日

Apache-2.02026年7月22日 · 指标 1.13.0

npm

51中等健康指数

Hyper-Solutions/hyper-sdk-js

JavaScript / TypeScript SDK for Bot Protection Bypass - Automate Akamai, Incapsula, Kasada, and DataDome. No browsers required. Solve challenges and generate valid sensors/cookies via API.

TypeScript★ 54↓ 31.6K/月2026年7月21日

MIT2026年7月21日 · 指标 1.13.0

PyPI

51中等健康指数

serpapi/google-search-results-python

Google Search Results via SERP API pip Python Package

Python★ 750↓ 1.6M/月2026年7月21日

MIT2026年7月21日 · 指标 1.13.0

npm

51中等健康指数

webscraping-ai/webscraping-ai-mcp-server

A Model Context Protocol (MCP) server implementation that integrates with WebScraping.AI for web data extraction capabilities.

JavaScript★ 44↓ 560/月2026年7月22日

无许可证2026年7月22日 · 指标 1.13.0

NuGet

50中等健康指数

darrylwhitmore/NScrape

A web scraping framework for .NET

C#★ 662026年7月17日

MIT2026年7月17日 · 指标 1.13.0

49存在风险健康指数

mjc-gh/virgo

Convert a webpage into plaintext or markdown using the Chrome DevTool Protocol

Go · JavaScript★ 12026年7月17日

BSD-3-Clause2026年7月17日 · 指标 1.13.0

48存在风险健康指数

khanglvm/online

Online web discovery CLI for AI agents

Go★ 02026年7月17日

MIT2026年7月17日 · 指标 1.13.0

48存在风险健康指数

leqwin/monloader

Online media downloader for monbooru

Go★ 32026年7月17日

AGPL-3.02026年7月17日 · 指标 1.13.0

npm

46存在风险健康指数

NovadaLabs/novada-mcp

One MCP server for all web data — search, scrape, crawl, proxy, and AI research in a single npx install. Works with Claude, Cursor, and any MCP client.

TypeScript · HTML★ 2↓ 5,804/月2026年7月16日

无许可证2026年7月16日 · 指标 1.13.0

45存在风险健康指数

dhairya3391/kari

Kari (狩り) — hunt media from the terminal. Search, stream, and download anime, movies, TV shows & cartoons across 5+ providers with MPV/IINA/VLC/MX Player support, Trakt/AniList scrobbling, and auto-subtitles.

Go★ 27↓ 0/月2026年7月14日

MIT2026年7月14日 · 指标 1.13.0

Packagist · PyPI

40存在风险健康指数

php-curl-class/php-curl-class

PHP Curl Class makes it easy to send HTTP requests and integrate with web APIs

PHP★ 3,301↓ 140.4K/月2026年7月20日

Unlicense2026年7月20日 · 指标 1.13.0

—

40存在风险健康指数

vaaya-ai/vaaya-mcp

Vaaya MCP server — pay-per-call agent superpowers: media & video generation, product demo videos, web search & scraping, deep/market research, GTM & sales enrichment, code sandboxes, browser automation, email, memory. No API keys.

Shell★ 302026年7月19日

MIT2026年7月19日 · 指标 1.13.0

PyPI

34存在风险健康指数

rushter/selectolax

Python binding to Modest and Lexbor engines. Fast HTML5 parser with CSS selectors for Python.

Cython · Python★ 1,6562026年7月20日

MIT2026年7月20日 · 指标 1.13.0

34存在风险健康指数

willygoid/fofa-grabber

A powerful Golang tool to fetch and export FOFA.info search results via API with real-time saving, concurrent requests, and multiple output formats (CSV, JSON, TXT)

Go★ 02026年7月17日

MIT2026年7月17日 · 指标 1.13.0