Todas las etiquetas
Etiqueta del catálogo

#robots-txt

Todos los repositorios del registro público que llevan esta etiqueta, procedente de sus topics de GitHub o de las palabras clave que publican sus registros de paquetes. La salud se mide con la misma metodología versionada que el resto del registro.

7 registros
Con la etiqueta «robots-txt»Ordenado por índice de salud
npm
91Excelenteíndice de salud
nuxt-modules/robots
Tame the robots crawling and indexing your Nuxt site.
TypeScript★ 520↓ 763.2K/mes25 jul 2026
MIT25 jul 2026 · métricas 2.10.0
PyPI
78Buenoíndice de salud
scrapy/protego
A pure-Python robots.txt parser with support for modern conventions.
DIGITAL Command Language★ 91↓ 22.3M/mes8 ago 2026
BSD-3-Clause8 ago 2026 · métricas 2.10.0
Packagist
77Buenoíndice de salud
spatie/robots-txt
Determine if a page may be crawled from robots.txt, robots meta tags and robot headers
PHP★ 258↓ 785.7K/mes4 ago 2026
MIT4 ago 2026 · métricas 2.10.0
npm
75Buenoíndice de salud
CyberCraftBD/power-seo
Power-SEO: AI-powered, enterprise-grade SEO toolkit for React - A modern & best alternative to Yoast, RankMath & AIOSEO for SPA and SSR applications.
TypeScript★ 11↓ 10.7K/mes20 ago 2026
MIT20 ago 2026 · métricas 2.10.0
PyPI
73Buenoíndice de salud
pip-install-python/dash-improve-my-llms
Automate page creation for an llms.txt, page.json and architecture.txt. Allow llms the ability to read and understand your dash applications pages.
Python★ 8↓ 2907/mes20 ago 2026
MIT20 ago 2026 · métricas 2.10.0
Go
38Débilíndice de salud
11lunaric11/securitychecker
Recon tool for pentesters & bug bounty hunters: check robots.txt, security.txt (RFC 9116) and /.well-known/ across many targets. CLI + web UI, single static Go binary.
Go · HTML★ 218 jul 2026
MIT18 jul 2026 · métricas 2.10.0
Packagist
30En riesgoíndice de salud
mguinea/laravel-robots
Laravel package to manage robots
PHP★ 15↓ 1302/mes13 ago 2026
MIT13 ago 2026 · métricas 2.10.0