Усі теги
Тег каталогу

#crawlers

Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.

3 записи
З тегом «crawlers»Упорядковано за індексом здоров'я
npm
98Винятковийіндекс здоров'я
apify/crawlee
Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.
TypeScript · MDX★ 25.2K↓ 6M/міс5 серп. 2026 р.
Apache-2.05 серп. 2026 р. · метрики 2.10.0
npm
83Відміннийіндекс здоров'я
omrilotan/isbot
🤖/👨‍🦰 Detect bots/crawlers/spiders using the user agent string
TypeScript · JavaScript★ 1 155↓ 102M/міс4 серп. 2026 р.
Unlicense4 серп. 2026 р. · метрики 2.10.0
Maven
78Добрийіндекс здоров'я
Norconex/crawler
Norconex Crawlers (or spiders) are flexible web and filesystem crawlers for collecting, parsing, and manipulating data from the web or filesystem to various data repositories such as search engines.
Java★ 2045 вер. 2026 р.
Apache-2.05 вер. 2026 р. · метрики 2.10.0