crawlabteam/crawlab

简介

Crawlab 是一个开源的分布式爬虫管理平台，提供爬虫任务的可视化管理、调度与监控。本镜像为 Crawlab 官方 Docker 镜像，旨在简化平台部署流程，帮助用户快速搭建分布式爬虫管理系统。

特性

• 分布式架构：支持多节点协同工作，实现爬虫任务的分布式调度与执行
• Web 可视化界面：提供直观的 UI 管理界面，支持任务创建、启停、日志查看等操作
• 多语言支持：兼容 Python、Go、Node.js 等多种编程语言的爬虫脚本
• 任务监控：实时监控任务运行状态、资源占用及爬取结果
• 结果存储：支持 MongoDB、MySQL 等多种数据库存储爬取结果
• 权限管理：内置用户角色与权限控制，保障系统安全

部署示例

Docker Run 快速启动

通过以下命令快速启动 Crawlab 服务（需提前安装 Docker 和 MongoDB）：

bash
docker run -d \
  --name crawlab \
  -p 8080:8080 \
  -v /path/to/crawlab/data:/app/data \
  -e MONGO_URI="mongodb://mongo:27017/crawlab" \
  crawlab-team/crawlab:latest

说明：

• -p 8080:8080：映射容器 8080 端口到主机，用于访问 Web 界面
• -v /path/to/crawlab/data:/app/data：挂载数据卷，持久化存储任务数据与配置
• -e MONGO_URI：指定 MongoDB 连接地址（需确保 MongoDB 服务可访问）

Docker Compose 完整部署

推荐使用 docker-compose 管理 Crawlab 及依赖服务，创建 docker-compose.yml 文件如下：

yaml
version: '3'
services:
  crawlab:
    image: crawlab-team/crawlab:latest
    container_name: crawlab
    ports:
      - "8080:8080"
    volumes:
      - ./crawlab/data:/app/data
    environment:
      - MONGO_URI=mongodb://mongo:27017/crawlab
      - PORT=8080
    depends_on:
      - mongo
    networks:
      - crawlab-network

  mongo:
    image: mongo:latest
    container_name: crawlab-mongo
    ports:
      - "27017:27017"
    volumes:
      - ./mongo/data:/data/db
    networks:
      - crawlab-network

networks:
  crawlab-network:
    driver: bridge

执行命令启动服务：docker-compose up -d

环境变量

注意事项

1. 访问 Web 界面：通过 http://<主机IP>:8080 访问，默认账户 admin/admin，建议登录后修改密码
2. 数据持久化：需挂载 /app/data 数据卷，避免容器重启导致数据丢失
3. 依赖服务：依赖 MongoDB 存储元数据，可通过 docker-compose 一键部署依赖
4. 防火墙配置：远程访问需开放服务端口（默认8080）的防火墙规则

官方资源

• 项目地址：https://github.com/crawlab-team/crawlab
• 官方文档：[***]