crawl — здоров'я програмного забезпечення з відкритим кодом

crates.io · npm · PyPI

91Відміннийіндекс здоров'я

Fast, lightweight Firecrawl/Tavily alternative in Rust. Web scraper, crawler & search API with MCP server for AI agents. Drop-in Firecrawl-compatible API (/scrape, /crawl, /search). 2.3x faster than Tavily, 1.5x faster than Firecrawl in 1K-URL benchmarks. 6 MB RAM, single binary. Self-host or use managed cloud.

Rust★ 1 095↓ 10.6K/міс2 жовт. 2026 р.

AGPL-3.02 жовт. 2026 р. · метрики 2.10.0

crates.io · npm · PyPI

91Відміннийіндекс здоров'я

us/crw

Rust★ 1 032↓ 10.7K/міс16 вер. 2026 р.

AGPL-3.016 вер. 2026 р. · метрики 2.10.0

PyPI

86Відміннийіндекс здоров'я

ZenRows/zenrows-python-sdk

SDK to access Zenrows API directly from Python. We handle proxies rotation, headless browsers and CAPTCHAs for you.

Python★ 21↓ 211.5K/міс16 жовт. 2026 р.

MIT16 жовт. 2026 р. · метрики 2.10.0

PyPI

81Відміннийіндекс здоров'я

ScrapingBee/scrapingbee-cli

Опис репозиторію не опубліковано.

Python★ 107↓ 350/міс15 вер. 2026 р.

MIT15 вер. 2026 р. · метрики 2.10.0

Packagist

81Відміннийіндекс здоров'я

chrome-php/chrome

Instrument headless chrome/chromium instances from PHP

PHP★ 2 677↓ 314.5K/міс8 вер. 2026 р.

MIT8 вер. 2026 р. · метрики 2.10.0

npm

80Відміннийіндекс здоров'я

tavily-ai/tavily-n8n-node

A node for n8n that integrates the Tavily API, enabling powerful web search and content extraction within your no-code automation workflows.

TypeScript★ 21↓ 68.6K/міс21 жовт. 2026 р.

MIT21 жовт. 2026 р. · метрики 2.10.0

PyPI

78Добрийіндекс здоров'я

tavily-ai/tavily-python

The Tavily Python SDK allows for easy interaction with the Tavily API, offering the full range of our search, extract, crawl, map, and research functionalities directly from your Python programs. Easily integrate smart search, content extraction, and research capabilities into your applications, harnessing Tavily's powerful features.

Python★ 1 375↓ 8.5M/міс27 серп. 2026 р.

MIT27 серп. 2026 р. · метрики 2.10.0

npm · Packagist · crates.io +1

78Добрийіндекс здоров'я

xberg-io/crawlberg

High-performance web crawling engine with bindings for 11 languages

Rust★ 173↓ 1 094/міс15 вер. 2026 р.

MIT15 вер. 2026 р. · метрики 2.10.0

NuGet

77Добрийіндекс здоров'я

soenneker/soenneker.playwrights.crawler

A configurable Playwright crawler with rich stealth and control options.

C#★ 021 жовт. 2026 р.

MIT21 жовт. 2026 р. · метрики 2.10.0

npm

73Добрийіндекс здоров'я

Kikobeats/xml-urls

Extract all URLs from Feed, Atom, RSS, and Sitemap XML markup for crawling and auditing.

JavaScript★ 12↓ 1 005/міс10 вер. 2026 р.

MIT10 вер. 2026 р. · метрики 2.10.0

npm · PyPI

71Добрийіндекс здоров'я

dondai1234/master-fetch

MCP server for web fetching with Cloudflare bypass, Trafilatura extraction, and smart routing. Free, self-hosted, no API keys.

Python · HTML★ 867↓ 536/міс10 вер. 2026 р.

MIT10 вер. 2026 р. · метрики 2.10.0

npm

67Добрийіндекс здоров'я

superagents-lab/search1api-mcp

Official Search1API MCP server for web search, news, crawling, sitemaps, and trends—hosted with OAuth 2.1 or local via npm.

TypeScript · JavaScript★ 173↓ 2 722/міс24 серп. 2026 р.

MIT24 серп. 2026 р. · метрики 2.10.0

npm

63Помірнийіндекс здоров'я

mysleekdesigns/crawlforge-mcp

28 MCP tools that give Claude, Cursor and any MCP client the live web — scrape, crawl, search, real Google rank, change tracking, document parsing, plus an autonomous agent that researches from a plain-English prompt with no URLs. Clean Markdown and schema-validated JSON, not raw HTML. Local-Ollama extraction by default. MIT, 1,000 free credits.

JavaScript★ 2↓ 5 179/міс5 вер. 2026 р.

MIT5 вер. 2026 р. · метрики 2.10.0

npm

62Помірнийіндекс здоров'я

Kikobeats/html-urls

Extract all href and src URLs from HTML markup for crawling, auditing, and link checks.

JavaScript★ 12↓ 5 973/міс15 вер. 2026 р.

MIT15 вер. 2026 р. · метрики 2.10.0

npm

62Помірнийіндекс здоров'я

tavily-ai/tavily-mcp

Production ready MCP server with real-time search, extract, map & crawl.

TypeScript★ 2 382↓ 86.8K/міс15 вер. 2026 р.

MIT15 вер. 2026 р. · метрики 2.10.0

npm

60Помірнийіндекс здоров'я

tavily-ai/ai-sdk

AI SDK tools for Tavily, built for Vercel's AI SDK v5.

TypeScript★ 5↓ 58K/міс21 жовт. 2026 р.

MIT21 жовт. 2026 р. · метрики 2.10.0

npm

59Помірнийіндекс здоров'я

olostep-api/olostep-js

nodejs SDK of the Olostep API

TypeScript★ 6↓ 10.3K/міс15 вер. 2026 р.

Без ліцензії15 вер. 2026 р. · метрики 2.10.0

npm

57Помірнийіндекс здоров'я

brandonkramer/pi-scraper

Pi extension for fast page scraping, recursive crawling, URL/site mapping, brand extraction, content diffing, PDF text extraction, and deterministic vertical extraction.

TypeScript · HTML★ 7↓ 367/міс20 жовт. 2026 р.

MIT20 жовт. 2026 р. · метрики 2.10.0

56Помірнийіндекс здоров'я