PyPI
scrapy/protego
A pure-Python robots.txt parser with support for modern conventions.
BSD-3-Clause8 серп. 2026 р. · метрики 2.5.0
Усі теги
Тег каталогу
#robots-parser
Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.
1 запис