Etiqueta del catálogo

#crawlers

Todos los repositorios del registro público que llevan esta etiqueta, procedente de sus topics de GitHub o de las palabras clave que publican sus registros de paquetes. La salud se mide con la misma metodología versionada que el resto del registro.

4 registros

Con la etiqueta «crawlers»Ordenado por índice de salud

npm

99Excepcionalíndice de salud

apify/crawlee

Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.

TypeScript · MDX★ 26.2K↓ 6.8M/mes19 oct 2026

Apache-2.019 oct 2026 · métricas 2.10.0

npm

86Excelenteíndice de salud

omrilotan/isbot

🤖/👨‍🦰 Detect bots/crawlers/spiders using the user agent string

TypeScript · JavaScript★ 1160↓ 98.8M/mes16 sept 2026

Unlicense16 sept 2026 · métricas 2.10.0

npm · Packagist · Go +1

80Excelenteíndice de salud

monperrus/crawler-user-agents

Syntactic patterns of HTTP user-agents used by bots / robots / crawlers / scrapers / spiders. pull-request welcome :star:

Go · Python★ 1403↓ 277.6K/mes15 sept 2026

MIT15 sept 2026 · métricas 2.10.0

Maven

77Buenoíndice de salud

Norconex/crawler

Norconex Crawlers (or spiders) are flexible web and filesystem crawlers for collecting, parsing, and manipulating data from the web or filesystem to various data repositories such as search engines.

Java★ 20521 oct 2026

Apache-2.021 oct 2026 · métricas 2.10.0