PyPI86优秀健康指数scrapy/protegoA pure-Python robots.txt parser with support for modern conventions. DIGITAL Command Language★ 95↓ 6.3M/月2026年9月17日BSD-3-Clause2026年9月17日 · 指标 2.10.0
npm30存在风险健康指数trybyte-app/robotstxt-ts-portGoogle's robots.txt parser ported to TypeScript - RFC 9309 compliantTypeScript★ 2↓ 14.9K/月2026年10月11日Apache-2.02026年10月11日 · 指标 2.10.0