Усі теги
Тег каталогу

#scraping

Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.

83 записи
З тегом «scraping»Упорядковано за індексом здоров'я
npm
98Винятковийіндекс здоров'я
apify/crawlee
Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.
TypeScript · MDX★ 25.2K↓ 6M/міс5 серп. 2026 р.
Apache-2.05 серп. 2026 р. · метрики 2.10.0
PyPI · npm
98Винятковийіндекс здоров'я
apify/crawlee-python
Crawlee—A web scraping and browser automation library for Python to build reliable crawlers. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Parsel, BeautifulSoup, Playwright, and raw HTTP. Both headful and headless mode. With proxy rotation.
Python · MDX★ 9 42612 серп. 2026 р.
Apache-2.012 серп. 2026 р. · метрики 2.10.0
PyPI · npm
97Винятковийіндекс здоров'я
apify/apify-client-python
Apify API client for Python—Programmatically run Actors, manage and stream data from storages (datasets, key-value stores, request queues), schedule and monitor runs, and access the full Apify platform API. Sync and async interfaces with automatic retries and pagination.
Python★ 97↓ 2.8M/міс27 серп. 2026 р.
Apache-2.027 серп. 2026 р. · метрики 2.10.0
PyPI
94Винятковийіндекс здоров'я
D4Vinci/Scrapling
🕷️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!
Python★ 72.6K4 серп. 2026 р.
BSD-3-Clause4 серп. 2026 р. · метрики 2.10.0
PyPI
94Винятковийіндекс здоров'я
ScrapeGraphAI/Scrapegraph-ai
Python scraper based on AI
Python★ 29K5 серп. 2026 р.
MIT5 серп. 2026 р. · метрики 2.10.0
PyPI · npm
94Винятковийіндекс здоров'я
apify/apify-sdk-python
Apify SDK for Python—The official library for building Apify Actors: serverless cloud programs for web scraping, browser automation, data processing, and AI agents. Manages the Actor lifecycle, storages (datasets, key-value stores, request queues), events, proxies, and pay-per-event monetization. Built on top of the the Apify API Client.
Python · MDX★ 17320 лип. 2026 р.
Apache-2.020 лип. 2026 р. · метрики 2.10.0
Packagist · Hex · crates.io +2
94Винятковийіндекс здоров'я
firecrawl/firecrawl
The context API to search, scrape, and interact with the web at scale. 🔥
TypeScript · Python★ 161K↓ 3 278/міс4 серп. 2026 р.
AGPL-3.04 серп. 2026 р. · метрики 2.10.0
crates.io
94Винятковийіндекс здоров'я
plabayo/rama
modular service framework to move and transform network packets
Rust★ 1 190↓ 730.4K/міс5 вер. 2026 р.
Apache-2.05 вер. 2026 р. · метрики 2.10.0
PyPI
93Винятковийіндекс здоров'я
freelawproject/juriscraper
An API to scrape American court websites for metadata.
HTML★ 623↓ 25K/міс18 серп. 2026 р.
BSD-2-Clause18 серп. 2026 р. · метрики 2.10.0
PyPI
91Відміннийіндекс здоров'я
adbar/trafilatura
Python & Command-line tool to gather text and metadata on the Web: Crawling, scraping, extraction, output as CSV, JSON, HTML, MD, TXT, XML
Python★ 6 718↓ 14M/міс28 серп. 2026 р.
Apache-2.028 серп. 2026 р. · метрики 2.10.0
PyPI · npm
90Відміннийіндекс здоров'я
apify/fingerprint-suite
Browser fingerprinting tools for anonymizing your scrapers. Developed by Apify.
TypeScript · JavaScript★ 2 566↓ 2.2M/міс13 серп. 2026 р.
Apache-2.013 серп. 2026 р. · метрики 2.10.0
PyPI
90Відміннийіндекс здоров'я
browser-use/browser-harness
Browser Harness | Self-healing harness that enables LLMs to complete any task.
Python · HTML★ 16.5K5 серп. 2026 р.
MIT5 серп. 2026 р. · метрики 2.10.0
PyPI
89Відміннийіндекс здоров'я
soxoj/maigret
🕵️‍♂️ Collect a dossier on a person by username from 3000+ sites
Python · HTML★ 36.1K↓ 99.4K/міс5 серп. 2026 р.
MIT5 серп. 2026 р. · метрики 2.10.0
PyPI
89Відміннийіндекс здоров'я
soxoj/socid-extractor
⛏️ The extraction engine behind Maigret: turn any profile URL into a structured OSINT record across 150+ sites
Python★ 1 067↓ 111.2K/міс22 серп. 2026 р.
MIT22 серп. 2026 р. · метрики 2.10.0
PyPI
88Відміннийіндекс здоров'я
feder-cr/invisible_playwright
Free antidetect browser stealth for Playwright: undetected headless Firefox fingerprint. Python scraping, recaptcha and bot detection bypass. Open source
Python★ 1 974↓ 15.7K/міс4 вер. 2026 р.
MIT4 вер. 2026 р. · метрики 2.10.0
npm
87Відміннийіндекс здоров'я
KnockOutEZ/wigolo
The go-to web for your AI coding agent — local-first search, fetch, crawl & research over MCP. No API keys, no cloud, $0/query. Public beta.
TypeScript★ 3 201↓ 3 522/міс22 лип. 2026 р.
Власна ліцензія22 лип. 2026 р. · метрики 2.10.0
PyPI · npm
87Відміннийіндекс здоров'я
daijro/camoufox
🦊 Anti-detect browser
C++ · Python · JavaScript★ 11.7K↓ 851.4K/міс6 вер. 2026 р.
MPL-2.06 вер. 2026 р. · метрики 2.10.0
npm
87Відміннийіндекс здоров'я
jo-inc/camofox-browser
Stealth headless browser for AI agents — bypass Cloudflare, bot detection, and anti-scraping. Drop-in Puppeteer/Playwright replacement.
JavaScript★ 8 924↓ 243.1K/міс28 серп. 2026 р.
MIT28 серп. 2026 р. · метрики 2.10.0
crates.io
87Відміннийіндекс здоров'я
spider-rs/spider
Get web data for AI agents and LLMs
Rust★ 2 669↓ 42K/міс22 серп. 2026 р.
MIT22 серп. 2026 р. · метрики 2.10.0
npm
86Відміннийіндекс здоров'я
getmaxun/maxun
🔥 The open-source no-code platform for web scraping, crawling, search and AI data extraction • Turn websites into structured APIs in minutes 🔥
TypeScript★ 17K↓ 952/міс5 серп. 2026 р.
AGPL-3.05 серп. 2026 р. · метрики 2.10.0
PyPI · npm
83Відміннийіндекс здоров'я
ScrapeGraphAI/scrapegraph-py
Official Python SDK for the ScrapeGraph AI API. Smart scraping, search, crawling, markdownify, agentic browser automation, scheduled jobs, and structured data extraction
Jupyter Notebook★ 86↓ 212.9K/міс7 вер. 2026 р.
MIT7 вер. 2026 р. · метрики 2.10.0
npm
83Відміннийіндекс здоров'я
achiya-automation/safari-mcp
Native Safari browser automation for AI agents. 80 tools via AppleScript — zero overhead, keeps logins, runs silently in background. Drop-in alternative to Chrome DevTools MCP with 40-60% less CPU/heat on Apple Silicon.
JavaScript★ 151↓ 6 053/міс17 лип. 2026 р.
MIT17 лип. 2026 р. · метрики 2.10.0
PyPI
83Відміннийіндекс здоров'я
blisspixel/primr
Turn any company URL into a strategic intelligence brief. Adaptive scraping + AI-powered research and synthesis.
Python★ 3↓ 7 380/міс19 лип. 2026 р.
Apache-2.019 лип. 2026 р. · метрики 2.10.0
npm
83Відміннийіндекс здоров'я
microlinkhq/top-user-agents
An always up-to-date list of the top 100 HTTP user-agents most used over the Internet.
JavaScript★ 357↓ 20.3K/міс3 серп. 2026 р.
MIT3 серп. 2026 р. · метрики 2.10.0
PyPI
81Відміннийіндекс здоров'я
ArchiveBox/abx-plugins
🧩 Plugins and extractors that ArchiveBox + abx-dl use: chrome, ytdlp, wget, singlefile, readability, forum-dl, gallery-dl, papers-dl, and more...
Python · JavaScript★ 8↓ 41.2K/міс27 лип. 2026 р.
MIT27 лип. 2026 р. · метрики 2.10.0
PyPI · crates.io · npm
81Відміннийіндекс здоров'я
bug-ops/scrape-rs
🦀 High-performance HTML parsing library. Rust core with native bindings for Python, Node.js & WASM. SIMD-accelerated, memory-safe, consistent API everywhere.
Rust★ 10↓ 6 257/міс5 вер. 2026 р.
Apache-2.05 вер. 2026 р. · метрики 2.10.0
PyPI · npm
80Відміннийіндекс здоров'я
ArchiveBox/abx-dl
⬇️ A simple all-in-one CLI tool to download EVERYTHING from a URL (like youtube-dl/yt-dlp, forum-dl, gallery-dl, simpler ArchiveBox). 🎭 Uses headless Chrome to get HTML, JS, CSS, images/video/audio/subtitles, PDFs, screenshots, article text, git repos, and more...
Python★ 130↓ 9 160/міс19 лип. 2026 р.
MIT19 лип. 2026 р. · метрики 2.10.0
PyPI · npm
80Відміннийіндекс здоров'я
CloakHQ/CloakBrowser
Stealth Chromium that passes every bot detection test. Drop-in Playwright replacement with source-level fingerprint patches. 30/30 tests passed.
Python · C# · TypeScript★ 29.6K↓ 1M/міс5 серп. 2026 р.
MIT5 серп. 2026 р. · метрики 2.10.0
npm
80Відміннийіндекс здоров'я
brightdata/brightdata-mcp
A powerful Model Context Protocol (MCP) server that provides an all-in-one solution for public web access.
JavaScript★ 2 614↓ 28.7K/міс28 серп. 2026 р.
MIT28 серп. 2026 р. · метрики 2.10.0
PyPI
78Добрийіндекс здоров'я
gawel/pyquery
A jquery-like library for python
Python★ 2 381↓ 1.9M/міс3 серп. 2026 р.
Власна ліцензія3 серп. 2026 р. · метрики 2.10.0