目录标签

#crawler

公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。

42 条记录

标签为“crawler”按健康指数排序

npm

54中等健康指数

Enterprise-grade, multi-threaded SEO Crawler, Rule Engine, and Link Graph Analyzer. Built in TypeScript for speed, compliance, and deep site health audits.

TypeScript★ 1092026年7月17日

MIT2026年7月17日 · 指标 1.13.0

crates.io

51中等健康指数

spider-rs/spider_firewall

Firewall for Rust

Rust★ 1↓ 2,668/月2026年7月16日

MIT2026年7月16日 · 指标 1.13.0

npm

51中等健康指数

webscraping-ai/webscraping-ai-mcp-server

A Model Context Protocol (MCP) server implementation that integrates with WebScraping.AI for web data extraction capabilities.

JavaScript★ 44↓ 560/月2026年7月22日

无许可证2026年7月22日 · 指标 1.13.0

npm

49存在风险健康指数

NeuraLegion/bright-cli

Command Line Interface (CLI) tool for BrightSec's solutions.

TypeScript★ 22↓ 3,745/月2026年7月20日

MIT2026年7月20日 · 指标 1.13.0

49存在风险健康指数

mjc-gh/virgo

Convert a webpage into plaintext or markdown using the Chrome DevTool Protocol

Go · JavaScript★ 12026年7月17日

BSD-3-Clause2026年7月17日 · 指标 1.13.0

Maven

48存在风险健康指数

code4craft/webmagic

A scalable web crawler framework for Java.

Java · HTML★ 11.7K2026年7月20日

Apache-2.02026年7月20日 · 指标 1.13.0

Packagist

46存在风险健康指数

crawlbase/crawlbase-php

A lightweight, dependency free PHP class that acts as wrapper for Crawlbase API

PHP★ 16↓ 2,779/月2026年7月15日

Apache-2.02026年7月15日 · 指标 1.13.0

crates.io

44存在风险健康指数

zekroTJA/r34-crawler

A simple CLI tool to fetch and download images from rule34.xxx

Rust★ 42026年7月22日

MIT2026年7月22日 · 指标 1.13.0

npm

35存在风险健康指数

crawlbase/crawlbase-node

Fast dependency free library for Crawlbase API

JavaScript★ 92026年7月19日

Apache-2.02026年7月19日 · 指标 1.13.0

Packagist

34存在风险健康指数

JayBizzle/Crawler-Detect

🕷 CrawlerDetect is a PHP class for detecting bots/crawlers/spiders via the user agent

PHP★ 2,374↓ 2.3M/月2026年7月20日

MIT2026年7月20日 · 指标 1.13.0

PyPI

34存在风险健康指数

rushter/selectolax

Python binding to Modest and Lexbor engines. Fast HTML5 parser with CSS selectors for Python.

Cython · Python★ 1,6562026年7月20日

MIT2026年7月20日 · 指标 1.13.0

Maven

25危急健康指数

ssssssss-team/spider-flow

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

Java★ 11.3K2026年7月21日

MIT2026年7月21日 · 指标 1.13.0