npm
brandonkramer/pi-scraper
Pi extension for fast page scraping, recursive crawling, URL/site mapping, brand extraction, content diffing, PDF text extraction, and deterministic vertical extraction.
MIT28 серп. 2026 р. · метрики 2.10.0
Усі теги
Тег каталогу
#crawler
Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.
86 записів
Packagist
JayBizzle/Laravel-Crawler-Detect
A Laravel wrapper for CrawlerDetect - the web crawler detection library
MIT28 лип. 2026 р. · метрики 2.10.0
PyPI
codelucas/newspaper
newspaper3k is a news, full-text, and article metadata extraction in Python 3. Advanced docs:
MIT12 серп. 2026 р. · метрики 2.10.0
Go
x-way/crawlerdetect
Golang module to detect bots and crawlers via the user agent
MIT17 лип. 2026 р. · метрики 2.10.0
npm
codepurse/SEOCORE
Enterprise-grade, multi-threaded SEO Crawler, Rule Engine, and Link Graph Analyzer. Built in TypeScript for speed, compliance, and deep site health audits.
MIT17 лип. 2026 р. · метрики 2.10.0
PyPI
tobybgy-lsd/web-agent-runtime-bench
Local-first failure diagnosis, auto collection, repair planning, AI handoff, and verification for Playwright, crawler, RPA, and agent workflows.
Власна ліцензія26 лип. 2026 р. · метрики 2.10.0
npm
webscraping-ai/webscraping-ai-mcp-server
A Model Context Protocol (MCP) server implementation that integrates with WebScraping.AI for web data extraction capabilities.
Без ліцензії22 лип. 2026 р. · метрики 2.10.0
Packagist · npm
duzun/hQuery.php
An extremely fast web scraper that parses megabytes of invalid HTML in a blink of an eye. PHP5.3+, no dependencies.
MIT29 лип. 2026 р. · метрики 2.10.0
Go
mjc-gh/virgo
Convert a webpage into plaintext or markdown using the Chrome DevTool Protocol
BSD-3-Clause17 лип. 2026 р. · метрики 2.10.0
Go
quantmind-br/repodocs
Go CLI for extracting websites, repositories, sitemaps, and package docs into structured Markdown
MIT25 серп. 2026 р. · метрики 2.10.0
crates.io
spider-rs/spider_firewall
Firewall for Rust
MIT16 лип. 2026 р. · метрики 2.10.0
npm · Go · PyPI
AlphaTechini/doc-fetch
Dynamic documentation fetching CLI that converts entire documentation sites to single markdown files for AI/LLM consumption
Без ліцензії27 лип. 2026 р. · метрики 2.10.0
Packagist
crawlbase/crawlbase-php
A lightweight, dependency free PHP class that acts as wrapper for Crawlbase API
Apache-2.015 лип. 2026 р. · метрики 2.10.0
Packagist
zorlan/skycaiji
蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统
Власна ліцензія27 лип. 2026 р. · метрики 2.10.0
crates.io
zekroTJA/r34-crawler
A simple CLI tool to fetch and download images from rule34.xxx
MIT22 лип. 2026 р. · метрики 2.10.0
npm
pavlealeksic/playwright-afp
Stop website fingerprinting techniques playwright edition
MIT2 вер. 2026 р. · метрики 2.10.0
NuGet
SoftCircuits/HtmlMonkey
Lightweight HTML/XML parser written in C#.
Власна ліцензія31 лип. 2026 р. · метрики 2.10.0
PyPI
scrapy/scrapy
Scrapy, a fast high-level web crawling & scraping framework for Python.
BSD-3-Clause12 серп. 2026 р. · метрики 2.10.0
npm
hardbulls/wbsc-crawler
Опис репозиторію не опубліковано.
Без ліцензії25 лип. 2026 р. · метрики 2.10.0
Maven
code4craft/webmagic
A scalable web crawler framework for Java.
Apache-2.027 серп. 2026 р. · метрики 2.10.0
npm
crawlbase/crawlbase-node
Fast dependency free library for Crawlbase API
Apache-2.019 лип. 2026 р. · метрики 2.10.0
Go
Synoppy/synoppy-go
Official Go SDK for Synoppy — the web-data layer for AI agents. Read, crawl, map, extract, classify & enrich any website on one key. Standard library only.
MIT28 лип. 2026 р. · метрики 2.10.0
Maven
ssssssss-team/spider-flow
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
MIT27 серп. 2026 р. · метрики 2.10.0
PyPI
0-EternalJunior-0/GraphCrawler
Python бібліотека для сканування веб-сайтів та побудови графу їх структури.
MIT1 серп. 2026 р. · метрики 2.10.0
npm · PyPI
88899/gitmen-lottery
彩票 数据 双色球 大乐透 快开 超级大乐透 预测 仅供学习
Без ліцензії27 лип. 2026 р. · метрики 2.10.0
npm
karthikuj/sasori
Sasori is a dynamic web crawler powered by Puppeteer, designed for lightning-fast endpoint discovery.
MIT4 серп. 2026 р. · метрики 2.10.0