istresearch/scrapy-cluster

Scrapy Cluster镜像说明

镜像概述

Scrapy Cluster是基于Scrapy的分布式按需爬虫集群项目，通过Redis和Kafka实现多蜘蛛实例的协调与任务分配。它支持将种子URL分发到多个等待的蜘蛛实例，并处理抓取过程中扩展的网页遍历请求，同时可通过Kafka作为数据总线实现与外部应用的交互。

核心功能

• 动态按需蜘蛛：支持提交任意网页到集群进行抓取
• 分布式扩展：可在单机器或多机器上扩展Scrapy实例
• 任务协调与优先级：协调并优先处理目标站点的抓取任务
• 数据持久化：跨抓取任务保留数据
• 并发任务执行：支持同时运行多个抓取任务
• 任务状态监控：可查看任务进度、待处理请求及站点排名信息
• 弹性伸缩：无需停机或丢失数据即可添加/移除/扩展爬虫实例
• Kafka集成：通过Kafka实现任务提交、信息获取、任务停止及结果查看等交互
• 协同限流：同一IP下不同机器的独立蜘蛛可协同限流
• 跨蜘蛛请求传递：不同蜘蛛可互相传递抓取请求，提升任务灵活性

使用场景

• 大规模分布式网页数据抓取
• 需要并发处理多个抓取任务的场景
• 需动态调整爬虫资源（添加/移除实例）的场景
• 需通过外部系统与爬虫集群交互（提交任务、获取结果）的场景

配置说明

Scrapy Cluster的各组件通过镜像标签区分，无latest标签，标签格式为组件名-版本/分支：

• Kafka Monitor：istresearch/scrapy-cluster:kafka-monitor-{release/build}（如kafka-monitor-1.2或kafka-monitor-dev）
• Redis Monitor：istresearch/scrapy-cluster:redis-monitor-{release/build}
• Crawler：istresearch/scrapy-cluster:crawler-{release/build}
• Rest：istresearch/scrapy-cluster:rest-{release/build}

开发模式下可禁用Kafka，仅通过Redis运行蜘蛛（不推荐生产环境使用）。

部署示例

Docker Run示例（Crawler组件）

bash
docker run -d --name scrapy-cluster-crawler istresearch/scrapy-cluster:crawler-1.2

Docker Compose示例

yaml
version: '3'
services:
  kafka-monitor:
    image: istresearch/scrapy-cluster:kafka-monitor-1.2
  redis-monitor:
    image: istresearch/scrapy-cluster:redis-monitor-1.2
  crawler:
    image: istresearch/scrapy-cluster:crawler-1.2
  rest:
    image: istresearch/scrapy-cluster:rest-1.2

更多文档

请参考官方文档：Scrapy Cluster文档