scraper — 开源软件健康

npm

84良好健康指数

Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.

TypeScript · MDX★ 24.8K2026年7月19日

Apache-2.02026年7月19日 · 指标 1.13.0

PyPI · npm

82良好健康指数

apify/apify-sdk-python

Apify SDK for Python—The official library for building Apify Actors: serverless cloud programs for web scraping, browser automation, data processing, and AI agents. Manages the Actor lifecycle, storages (datasets, key-value stores, request queues), events, proxies, and pay-per-event monetization. Built on top of the the Apify API Client.

Python · MDX★ 1732026年7月20日

Apache-2.02026年7月20日 · 指标 1.13.0

npm

82良好健康指数

cheeriojs/cheerio

The fast, flexible, and elegant library for parsing and manipulating HTML and XML.

TypeScript · HTML · Astro★ 30.4K↓ 121M/月2026年7月23日

MIT2026年7月23日 · 指标 1.13.0

—

81良好健康指数

mendableai/firecrawl

The API to search, scrape, and interact with the web at scale. 🔥

TypeScript · Python★ 151.8K2026年7月16日

AGPL-3.02026年7月16日 · 指标 1.13.0

—

80良好健康指数

firecrawl/firecrawl

The API to search, scrape, and interact with the web at scale. 🔥

TypeScript★ 149.9K↓ 0/月2026年7月13日

AGPL-3.02026年7月13日 · 指标 1.13.0

npm

77良好健康指数

apify/apify-sdk-js

Apify SDK monorepo

MDX · TypeScript★ 180↓ 149.3K/月2026年7月20日

Apache-2.02026年7月20日 · 指标 1.13.0

PyPI

72良好健康指数

adbar/trafilatura

Python & Command-line tool to gather text and metadata on the Web: Crawling, scraping, extraction, output as CSV, JSON, HTML, MD, TXT, XML

Python★ 6,3122026年7月18日

Apache-2.02026年7月18日 · 指标 1.13.0

PyPI

70良好健康指数

jordantete/OddsHarvester

A python app designed to scrape and process sports betting data directly from oddsportal.com 🎯

Python · HTML★ 2092026年7月20日

MIT2026年7月20日 · 指标 1.13.0

npm

69中等健康指数

Xquik-dev/tweetclaw

OpenClaw plugin to search tweets, search replies, post tweets, export followers, manage media, monitor X/Twitter, and run giveaway draws via Xquik. Not affiliated with X Corp.

TypeScript · JavaScript★ 89↓ 1,243/月2026年7月17日

MIT2026年7月17日 · 指标 1.13.0

npm · RubyGems

69中等健康指数

huginn/huginn

Create agents that monitor and act on your behalf. Your agents are standing by!

Ruby★ 49.6K2026年7月20日

MIT2026年7月20日 · 指标 1.13.0

npm

68中等健康指数

zerodytrash/TikTok-Live-Connector

Node.js library to receive live stream events (comments, gifts, etc.) in realtime from TikTok LIVE.

TypeScript★ 2,080↓ 110.9K/月2026年7月21日

AGPL-3.02026年7月21日 · 指标 1.13.0

npm

67中等健康指数

MrAdex77/google-play-scraper

Google Play scraper for Node.js with a fully typed TypeScript API. App details, search, top charts, reviews, permissions and data safety. A modern replacement for the unmaintained google-play-scraper.

TypeScript★ 5↓ 4,236/月2026年7月23日

MIT2026年7月23日 · 指标 1.13.0

PyPI

65中等健康指数

sdaqo/anipy-cli

Little tool in python to watch and download anime from the terminal (the better way to watch anime). Also applicable as an API

Python★ 486↓ 23.5K/月2026年7月19日

GPL-3.02026年7月19日 · 指标 1.13.0

Go · npm

64中等健康指数

diadata-org/decentral-feeder

Feeder node for the Lumina oracle network, providing trustless and verifiable on-chain data.

Solidity★ 42026年7月22日

GPL-3.02026年7月22日 · 指标 1.13.0

PyPI

63中等健康指数

jr200-labs/polars-hist-db

(jetstream | file) --> polars dataframe <--> mariadb (bitemporal)

Python★ 1↓ 6,870/月2026年7月16日

MIT2026年7月16日 · 指标 1.13.0

Maven

62中等健康指数

fanyong920/jvppeteer

Java API For Chrome and Firefox

Java★ 8082026年7月17日

Apache-2.02026年7月17日 · 指标 1.13.0

npm · Go

61中等健康指数

pinchtab/seaportal

SeaPortal — Fast, HTTP-first content extraction for AI agents. No browser required.

Go · HTML★ 5↓ 207/月2026年7月17日

MIT2026年7月17日 · 指标 1.13.0

npm

61中等健康指数

stacksjs/ts-web-scraper

A powerful, type-safe web scraping library for TypeScript.

TypeScript★ 11↓ 177.5K/月2026年7月21日

MIT2026年7月21日 · 指标 1.13.0

npm · crates.io · Go +1

58中等健康指数

spider-rs/spider-clients

Python, Javascript, and Rust libraries for the Spider Cloud API.

Rust · Python · Go★ 26↓ 16.3K/月2026年7月16日

MIT2026年7月16日 · 指标 1.13.0

58中等健康指数

wasylq/fss

fss or Full Studio Scraper - scrape all videos metadata of your favourite performers or studios

Go★ 5↓ 0/月2026年7月13日

GPL-3.02026年7月13日 · 指标 1.13.0

Packagist

57中等健康指数

boatracevibeproject/scraper

BVP Scraper は、ボートレースの公式サイトから出走表、直前情報、オッズ、結果をスクレイピングするための PHP ライブラリです。

PHP★ 3↓ 9,665/月2026年7月18日

MIT2026年7月18日 · 指标 1.13.0

npm

57中等健康指数

mysleekdesigns/crawlforge-mcp

26-tool MCP server for web scraping, crawling, deep research & autonomous extraction — clean Markdown & structured JSON for Claude, Cursor & any MCP client. 1,000 free credits, local-Ollama LLM support.

JavaScript★ 1↓ 2,975/月2026年7月14日

MIT2026年7月14日 · 指标 1.13.0

npm

56中等健康指数

cherchyk/MCPBrowser

该仓库未发布描述。

JavaScript★ 8↓ 1,837/月2026年7月15日

MIT2026年7月15日 · 指标 1.13.0

56中等健康指数

kwadkore/ws-scraper

[en.]ws-tcg.com scraper. Permanently forked from https://github.com/Akenaide/wsoffcli

HTML · Go★ 02026年7月23日