web-crawler — здоров'я програмного забезпечення з відкритим кодом

npm

98Винятковийіндекс здоров'я

Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.

TypeScript · MDX★ 25.2K↓ 6M/міс5 серп. 2026 р.

Apache-2.05 серп. 2026 р. · метрики 2.10.0

PyPI · npm

98Винятковийіндекс здоров'я

apify/crawlee-python

Crawlee—A web scraping and browser automation library for Python to build reliable crawlers. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Parsel, BeautifulSoup, Playwright, and raw HTTP. Both headful and headless mode. With proxy rotation.

Python · MDX★ 9 42612 серп. 2026 р.

Apache-2.012 серп. 2026 р. · метрики 2.10.0

PyPI

94Винятковийіндекс здоров'я

D4Vinci/Scrapling

🕷️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!

Python★ 72.6K4 серп. 2026 р.

BSD-3-Clause4 серп. 2026 р. · метрики 2.10.0

PyPI

94Винятковийіндекс здоров'я

ScrapeGraphAI/Scrapegraph-ai

Python scraper based on AI

Python★ 29K5 серп. 2026 р.

MIT5 серп. 2026 р. · метрики 2.10.0

Packagist · Hex · crates.io +2

94Винятковийіндекс здоров'я

firecrawl/firecrawl

The context API to search, scrape, and interact with the web at scale. 🔥

TypeScript · Python★ 161K↓ 3 278/міс4 серп. 2026 р.

AGPL-3.04 серп. 2026 р. · метрики 2.10.0

npm

89Відміннийіндекс здоров'я

firecrawl/firecrawl-mcp-server

🔥 Official Firecrawl MCP Server - Adds powerful web scraping and search to Cursor, Claude and any other LLM clients.

TypeScript · JavaScript★ 7 332↓ 492.7K/міс28 серп. 2026 р.

MIT28 серп. 2026 р. · метрики 2.10.0

npm · PyPI

89Відміннийіндекс здоров'я

webrecorder/browsertrix-crawler

Run a high-fidelity browser-based web archiving crawler in a single Docker container

TypeScript★ 1 11724 серп. 2026 р.

AGPL-3.024 серп. 2026 р. · метрики 2.10.0

npm

87Відміннийіндекс здоров'я

KnockOutEZ/wigolo

The go-to web for your AI coding agent — local-first search, fetch, crawl & research over MCP. No API keys, no cloud, $0/query. Public beta.

TypeScript★ 3 201↓ 3 522/міс22 лип. 2026 р.

Власна ліцензія22 лип. 2026 р. · метрики 2.10.0

crates.io

87Відміннийіндекс здоров'я

spider-rs/spider

Get web data for AI agents and LLMs

Rust★ 2 669↓ 42K/міс22 серп. 2026 р.

MIT22 серп. 2026 р. · метрики 2.10.0

npm · PyPI · crates.io

87Відміннийіндекс здоров'я

us/crw

Fast, lightweight Firecrawl/Tavily alternative in Rust. Web scraper, crawler & search API with MCP server for AI agents. Drop-in Firecrawl-compatible API (/scrape, /crawl, /search). 2.3x faster than Tavily, 1.5x faster than Firecrawl in 1K-URL benchmarks. 6 MB RAM, single binary. Self-host or use managed cloud.

Rust★ 518↓ 9 070/міс3 серп. 2026 р.

AGPL-3.03 серп. 2026 р. · метрики 2.10.0

npm

80Відміннийіндекс здоров'я

microlinkhq/browserless

The headless Chrome/Chromium driver on top of Puppeteer. Take screenshots, generate PDFs, extract text and HTML with a production-ready API.

JavaScript★ 1 82618 лип. 2026 р.

MIT18 лип. 2026 р. · метрики 2.10.0

Maven

78Добрийіндекс здоров'я

Norconex/crawler

Norconex Crawlers (or spiders) are flexible web and filesystem crawlers for collecting, parsing, and manipulating data from the web or filesystem to various data repositories such as search engines.

Java★ 2045 вер. 2026 р.

Apache-2.05 вер. 2026 р. · метрики 2.10.0

78Добрийіндекс здоров'я

kinorai/omnifeed

LLM-friendly web crawler & scraper with a dedicated Reddit engine, built on Crawl4AI — Open WebUI compatible

Go★ 63 вер. 2026 р.

MIT3 вер. 2026 р. · метрики 2.10.0

npm · crates.io · Packagist +1

78Добрийіндекс здоров'я

xberg-io/crawlberg

High-performance web crawling engine with bindings for 11 languages

Rust★ 149↓ 685/міс1 серп. 2026 р.

MIT1 серп. 2026 р. · метрики 2.10.0

npm · crates.io

75Добрийіндекс здоров'я

0xMassi/webclaw

Fast, local-first web content extraction for LLMs. Scrape, crawl, extract structured data — all from Rust. CLI, REST API, and MCP server.

Rust★ 2 066↓ 424/міс26 лип. 2026 р.

AGPL-3.026 лип. 2026 р. · метрики 2.10.0

npm · PyPI · crates.io

75Добрийіндекс здоров'я

Goldziher/basemind

Full AI context and content layer for coding agents over one MCP server — tree-sitter code-map, document RAG, shared memory, multi-agent comms, web crawl, git history + blame. 300+ languages, 10+ agent harnesses, pure Rust.

Rust★ 69↓ 13.6K/міс27 лип. 2026 р.

MIT27 лип. 2026 р. · метрики 2.10.0

67Добрийіндекс здоров'я

gosom/scrapemate

Golang Crawling and scraping framework

Go★ 2072 серп. 2026 р.

MIT2 серп. 2026 р. · метрики 2.10.0

npm

63Помірнийіндекс здоров'я

mysleekdesigns/crawlforge-mcp

28 MCP tools that give Claude, Cursor and any MCP client the live web — scrape, crawl, search, real Google rank, change tracking, document parsing, plus an autonomous agent that researches from a plain-English prompt with no URLs. Clean Markdown and schema-validated JSON, not raw HTML. Local-Ollama extraction by default. MIT, 1,000 free credits.

JavaScript★ 2↓ 5 179/міс5 вер. 2026 р.

MIT5 вер. 2026 р. · метрики 2.10.0

npm · crates.io · Go +1

63Помірнийіндекс здоров'я

spider-rs/spider-clients

Python, Javascript, and Rust libraries for the Spider Cloud API.

Rust · Python · Go★ 26↓ 16.3K/міс16 лип. 2026 р.

MIT16 лип. 2026 р. · метрики 2.10.0

npm

41Слабкийіндекс здоров'я

Aegis-Runner/AegisRunner

AegisRunner crawls any website from a single URL, discovers every page, form, and interaction, then uses AI to generate a complete Playwright test suite. Also runs accessibility, SEO, security, and performance audits on every page — no recording, no scripting, no setup.

JavaScript★ 0↓ 8 920/міс25 лип. 2026 р.

MIT25 лип. 2026 р. · метрики 2.10.0

Maven

23У зоні ризикуіндекс здоров'я

ssssssss-team/spider-flow

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

Java★ 11.4K27 серп. 2026 р.

MIT27 серп. 2026 р. · метрики 2.10.0

#web-crawler