Todas las etiquetas
Etiqueta del catálogo

#web-crawler

Todos los repositorios del registro público que llevan esta etiqueta, procedente de sus topics de GitHub o de las palabras clave que publican sus registros de paquetes. La salud se mide con la misma metodología versionada que el resto del registro.

10 registros
Con la etiqueta «web-crawler»Ordenado por índice de salud
npm
84Buenoíndice de salud
apify/crawlee
Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.
TypeScript · MDX★ 24.8K19 jul 2026
Apache-2.019 jul 2026 · métricas 1.13.0
81Buenoíndice de salud
mendableai/firecrawl
The API to search, scrape, and interact with the web at scale. 🔥
TypeScript · Python★ 151.8K16 jul 2026
AGPL-3.016 jul 2026 · métricas 1.13.0
80Buenoíndice de salud
firecrawl/firecrawl
The API to search, scrape, and interact with the web at scale. 🔥
TypeScript★ 149.9K↓ 0/mes13 jul 2026
AGPL-3.013 jul 2026 · métricas 1.13.0
npm
73Buenoíndice de salud
KnockOutEZ/wigolo
The go-to web for your AI coding agent — local-first search, fetch, crawl & research over MCP. No API keys, no cloud, $0/query. Public beta.
TypeScript★ 3201↓ 3522/mes22 jul 2026
Licencia propia22 jul 2026 · métricas 1.13.0
crates.io
71Buenoíndice de salud
spider-rs/spider
Get web data for AI agents and LLMs
Rust★ 2601↓ 52.8K/mes14 jul 2026
MIT14 jul 2026 · métricas 1.13.0
npm
68Moderadoíndice de salud
microlinkhq/browserless
The headless Chrome/Chromium driver on top of Puppeteer. Take screenshots, generate PDFs, extract text and HTML with a production-ready API.
JavaScript★ 182618 jul 2026
MIT18 jul 2026 · métricas 1.13.0
crates.io · npm · Packagist +1
64Moderadoíndice de salud
xberg-io/crawlberg
High-performance web crawling engine with bindings for 11 languages
Rust★ 140↓ 0/mes14 jul 2026
MIT14 jul 2026 · métricas 1.13.0
npm · crates.io · Go +1
58Moderadoíndice de salud
spider-rs/spider-clients
Python, Javascript, and Rust libraries for the Spider Cloud API.
Rust · Python · Go★ 26↓ 16.3K/mes16 jul 2026
MIT16 jul 2026 · métricas 1.13.0
npm
57Moderadoíndice de salud
mysleekdesigns/crawlforge-mcp
26-tool MCP server for web scraping, crawling, deep research & autonomous extraction — clean Markdown & structured JSON for Claude, Cursor & any MCP client. 1,000 free credits, local-Ollama LLM support.
JavaScript★ 1↓ 2975/mes14 jul 2026
MIT14 jul 2026 · métricas 1.13.0
Maven
25Críticoíndice de salud
ssssssss-team/spider-flow
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
Java★ 11.3K21 jul 2026
MIT21 jul 2026 · métricas 1.13.0