目录标签

#crawlers

公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。

3 条记录

标签为“crawlers”按健康指数排序

npm

98卓越健康指数

Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.

TypeScript · MDX★ 25.2K↓ 6M/月2026年8月5日

Apache-2.02026年8月5日 · 指标 2.10.0

npm

83优秀健康指数

omrilotan/isbot

🤖/👨‍🦰 Detect bots/crawlers/spiders using the user agent string

TypeScript · JavaScript★ 1,155↓ 102M/月2026年8月4日

Unlicense2026年8月4日 · 指标 2.10.0

Maven

78良好健康指数

Norconex/crawler

Norconex Crawlers (or spiders) are flexible web and filesystem crawlers for collecting, parsing, and manipulating data from the web or filesystem to various data repositories such as search engines.

Java★ 2042026年9月5日

Apache-2.02026年9月5日 · 指标 2.10.0