tikazyq/crawlab

Crawlab

镜像概述和主要用途

Crawlab是一个基于Golang的分布式网络爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言，以及Scrapy、Puppeteer、Selenium等多种网络爬虫框架。它提供直观的Web界面，用于管理爬虫任务、节点、结果数据及调度定时任务，实现爬虫的分布式执行与监控。

核心功能和特性

• 多语言与框架支持：兼容Python、NodeJS、Go等多种语言及Scrapy、Puppeteer等主流爬虫框架
• 分布式架构：采用主从节点（Master-Worker）模式，支持水平扩展，可通过增加Worker节点提升任务处理能力
• 任务管理：支持爬虫任务的创建、调度、执行与监控，提供任务日志与结果查看
• 节点管理：实时监控Master和Worker节点状态，支持节点网络可视化
• 结果分析：提供任务结果数据的存储、查询与可视化分析
• 定时任务：支持cron表达式配置定时爬虫任务
• 在线代码编辑：内置文件编辑器，可直接在线编写和修改爬虫代码
• 依赖管理：支持节点依赖包的在线安装
• 通知功能：支持任务状态变更的通知提醒

使用场景和适用范围

• 企业级爬虫管理：需要统一管理多个爬虫项目和任务的团队
• 分布式爬虫部署：需要通过多节点分布式执行爬虫任务以提高效率的场景
• 多语言爬虫整合：团队中使用多种编程语言开发爬虫，需要统一平台管理的场景
• 爬虫任务监控与分析：需要实时监控爬虫运行状态、分析爬取结果的场景

安装与使用方法

前置要求（Docker部署）

• Docker 18.03+
• Redis 5.x+
• MongoDB 3.6+
• Docker Compose 1.24+（推荐）

快速启动

通过Docker Compose一键部署：

bash
git clone https://github.com/crawlab-team/crawlab
cd crawlab
docker-compose up -d

Docker Compose配置示例

创建docker-compose.yml文件，内容如下：

yaml
version: '3.3'
services:
  master: 
    image: docker.xuanyuan.run/tikazyq/crawlab:latest
    container_name: master
    environment:
      CRAWLAB_SERVER_MASTER: "Y"  # 标识为主节点
      CRAWLAB_MONGO_HOST: "mongo"  # MongoDB主机地址
      CRAWLAB_REDIS_ADDRESS: "redis"  # Redis地址
    ports:    
      - "8080:8080"  # Web界面端口
    depends_on:
      - mongo
      - redis
  mongo:
    image: docker.xuanyuan.run/mongo:latest
    restart: always
    ports:
      - "27017:27017"  # MongoDB端口
  redis:
    image: docker.xuanyuan.run/redis:latest
    restart: always
    ports:
      - "6379:6379"  # Redis端口

启动服务：

bash
docker-compose up

服务启动后，访问http://localhost:8080即可打开Crawlab Web界面。

环境变量配置

架构说明

Crawlab采用分布式架构，由以下组件构成：

• Master Node（主节点）：核心控制节点，负责任务协调、节点管理、爬虫部署、Web服务及API提供，同时也可作为Worker节点执行任务
• Worker Node（工作节点）：接收主节点分配的爬虫任务并执行，存储结果与日志，通过Redis PubSub与主节点通信
• MongoDB：存储节点、爬虫、任务、调度等数据，通过GridFS存储爬虫文件并同步至Worker节点
• Redis：提供节点通信服务，用于节点状态同步与任务分发
• 前端：基于Vue-Element-Admin的单页应用（SPA），提供直观的Web操作界面

与其他框架集成

Scrapy

在Scrapy项目的settings.py中配置Crawlab结果管道：

python
ITEM_PIPELINES = {
    'crawlab.pipelines.CrawlabMongoPipeline': 888,
}

启动爬虫后，结果将自动存储至Crawlab，可在“任务详情 -> 结果”中查看。

通用Python爬虫

通过Crawlab SDK保存结果：

python
from docker.xuanyuan.run/crawlab import save_item

# 结果记录（必须为dict类型）
result = {'name': 'crawlab'}

# 保存结果
save_item(result)

其他语言/框架

Crawlab通过环境变量传递任务信息：

• CRAWLAB_TASK_ID：任务ID，用于关联数据
• CRAWLAB_COLLECTION：结果存储集合名称

爬虫可通过读取这些环境变量实现与Crawlab的集成。

与其他框架对比

相关资源

• http://crawlab.cn/demo
• http://docs.crawlab.cn
• https://github.com/crawlab-team/crawlab