scrapydata/gerapy

镜像概述

scrapydata/gerapy镜像提供了基于Scrapy和Scrapyd的分布式爬虫管理B/S应用Gerapy，帮助用户高效管理爬虫项目、任务调度及运行状态监控，简化分布式爬虫的部署与维护流程。

核心功能

• 集中管理爬虫项目：支持上传、编辑、删除爬虫项目代码
• 分布式任务调度：对接Scrapyd集群，实现任务的分布式执行
• 实时状态监控：查看爬虫任务的运行状态、日志及结果数据
• 可视化操作界面：通过Web界面完成所有管理操作，降低使用门槛

使用场景

• 企业级数据采集平台：需要大规模、分布式爬虫任务的场景
• 内容聚合系统：定期抓取各类网站内容进行整合分析
• 科研数据收集：针对特定领域的批量数据采集需求

配置说明

• 端口映射：默认Web服务端口为8000，需映射到主机端口（如-p 8000:8000）
• 数据卷挂载：建议挂载数据目录（如/gerapy）以持久化项目配置和数据

部署示例

Docker Run命令

bash
docker run -d -p 8000:8000 --name gerapy scrapydata/gerapy

Docker Compose配置

yaml
version: '3'
services:
  gerapy:
    image: scrapydata/gerapy
    ports:
      - "8000:8000"
    volumes:
      - ./gerapy_data:/gerapy
    restart: always