目录标签

#crawlers

公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。

4 条记录

标签为“crawlers”按健康指数排序

npm

99卓越健康指数

Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.

TypeScript · MDX★ 26.2K↓ 6.8M/月2026年10月19日

Apache-2.02026年10月19日 · 指标 2.10.0

npm

86优秀健康指数

omrilotan/isbot

🤖/👨‍🦰 Detect bots/crawlers/spiders using the user agent string

TypeScript · JavaScript★ 1,160↓ 98.8M/月2026年9月16日

Unlicense2026年9月16日 · 指标 2.10.0

npm · Packagist · Go +1

80优秀健康指数

monperrus/crawler-user-agents

Syntactic patterns of HTTP user-agents used by bots / robots / crawlers / scrapers / spiders. pull-request welcome :star:

Go · Python★ 1,403↓ 277.6K/月2026年9月15日

MIT2026年9月15日 · 指标 2.10.0

Maven

77良好健康指数

Norconex/crawler

Norconex Crawlers (or spiders) are flexible web and filesystem crawlers for collecting, parsing, and manipulating data from the web or filesystem to various data repositories such as search engines.

Java★ 2052026年10月21日

Apache-2.02026年10月21日 · 指标 2.10.0