Katalog-Tag

#crawlers

Alle Repositories im öffentlichen Register, die dieses Tag tragen — aus ihren GitHub-Topics oder den von ihren Paket-Registries veröffentlichten Schlagwörtern. Die Gesundheit wird nach derselben versionierten Methodik gemessen wie im übrigen Register.

4 Einträge

Getaggt als „crawlers“Geordnet nach Gesundheitsindex

npm

99AußergewöhnlichGesundheitsindex

apify/crawlee

Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.

TypeScript · MDX★ 26.2K↓ 6.8M/Monat19. Okt. 2026

Apache-2.019. Okt. 2026 · Metriken 2.10.0

npm

86ExzellentGesundheitsindex

omrilotan/isbot

🤖/👨‍🦰 Detect bots/crawlers/spiders using the user agent string

TypeScript · JavaScript★ 1.160↓ 98.8M/Monat16. Sept. 2026

Unlicense16. Sept. 2026 · Metriken 2.10.0

npm · Packagist · Go +1

80ExzellentGesundheitsindex

monperrus/crawler-user-agents

Syntactic patterns of HTTP user-agents used by bots / robots / crawlers / scrapers / spiders. pull-request welcome :star:

Go · Python★ 1.403↓ 277.6K/Monat15. Sept. 2026

MIT15. Sept. 2026 · Metriken 2.10.0

Maven

77GutGesundheitsindex

Norconex/crawler

Norconex Crawlers (or spiders) are flexible web and filesystem crawlers for collecting, parsing, and manipulating data from the web or filesystem to various data repositories such as search engines.

Java★ 20521. Okt. 2026

Apache-2.021. Okt. 2026 · Metriken 2.10.0