Усі теги
Тег каталогу

#crawlers

Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.

4 записи
З тегом «crawlers»Упорядковано за індексом здоров'я
npm
99Винятковийіндекс здоров'я
apify/crawlee
Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.
TypeScript · MDX★ 26.2K↓ 6.8M/міс19 жовт. 2026 р.
Apache-2.019 жовт. 2026 р. · метрики 2.10.0
npm
86Відміннийіндекс здоров'я
omrilotan/isbot
🤖/👨‍🦰 Detect bots/crawlers/spiders using the user agent string
TypeScript · JavaScript★ 1 160↓ 98.8M/міс16 вер. 2026 р.
Unlicense16 вер. 2026 р. · метрики 2.10.0
npm · Packagist · Go +1
80Відміннийіндекс здоров'я
monperrus/crawler-user-agents
Syntactic patterns of HTTP user-agents used by bots / robots / crawlers / scrapers / spiders. pull-request welcome :star:
Go · Python★ 1 403↓ 277.6K/міс15 вер. 2026 р.
MIT15 вер. 2026 р. · метрики 2.10.0
Maven
77Добрийіндекс здоров'я
Norconex/crawler
Norconex Crawlers (or spiders) are flexible web and filesystem crawlers for collecting, parsing, and manipulating data from the web or filesystem to various data repositories such as search engines.
Java★ 20521 жовт. 2026 р.
Apache-2.021 жовт. 2026 р. · метрики 2.10.0