crawlabteam/crawlab-pro Docker 镜像 - 轩辕镜像

Crawlab Pro Docker镜像文档

概述

Crawlab Pro是一个基于Docker的分布式爬虫管理平台专业版镜像，旨在为开发者和企业提供一站式的爬虫开发、部署、管理和监控解决方案。该镜像封装了Crawlab Pro的全部核心功能，可快速部署在各种环境中，极大简化了爬虫系统的搭建和维护流程。

核心功能与特性

主要功能

• 分布式爬虫任务管理与调度
• 多语言支持（Python、Node.js、Go等）
• 实时爬虫任务监控与日志查看
• 可视化爬虫结果数据管理
• 爬虫模板与代码库管理
• 权限管理与团队协作
• 定时任务与触发机制
• API接口与第三方系统集成

特性优势

• 容器化部署，环境一致性保障
• 水平扩展能力，支持大规模爬虫集群
• 直观的Web界面，降低操作复杂度
• 完善的错误处理与告警机制
• 数据可视化与报表生成
• 支持自定义爬虫模板与工作流
• 企业级安全与权限控制

使用场景

• 数据采集与挖掘项目
• 网络情报收集系统
• 价格监控与比较平台
• 内容聚合与分析系统
• 搜索引擎与数据索引构建
• 市场调研与竞争分析
• 舆情监控与分析系统
• 企业级数据集成解决方案

快速开始

前提条件

• Docker Engine 19.03+
• Docker Compose 1.27+
• 至少2GB RAM
• 10GB可用磁盘空间

基本部署

使用Docker Compose快速部署：

yaml
version: '3.8'

services:
  master:
    image: crawlab/pro:latest
    container_name: crawlab-master
    restart: always
    environment:
      - CRAWLAB_NODE_MASTER=true
      - CRAWLAB_MONGO_URI=mongodb://mongo:27017/crawlab
      - CRAWLAB_REDIS_URI=redis://redis:6379/0
      - CRAWLAB_USERNAME=admin
      - CRAWLAB_PASSWORD=admin
    ports:
      - "8080:8080"
    depends_on:
      - mongo
      - redis

  mongo:
    image: mongo:4.4
    container_name: crawlab-mongo
    restart: always
    volumes:
      - mongo-data:/data/db

  redis:
    image: redis:6-alpine
    container_name: crawlab-redis
    restart: always
    volumes:
      - redis-data:/data
    command: redis-server --appendonly yes

volumes:
  mongo-data:
  redis-data:

启动服务：

bash
docker-compose up -d

访问Web界面：http://localhost:8080，使用默认账号密码(admin/admin)登录。

分布式部署

添加工作节点：

yaml
worker:
  image: crawlab/pro:latest
  container_name: crawlab-worker
  restart: always
  environment:
    - CRAWLAB_NODE_MASTER=false
    - CRAWLAB_GRPC_ADDRESS=master:9000
    - CRAWLAB_MONGO_URI=mongodb://mongo:27017/crawlab
    - CRAWLAB_REDIS_URI=redis://redis:6379/0
  depends_on:
    - master

配置参数

环境变量

持久化数据

为确保数据持久化，建议挂载以下目录：

yaml
volumes:
  - ./data:/app/data
  - ./logs:/app/logs
  - ./tasks:/app/tasks

高级配置

自定义域名与SSL

通过Nginx反向代理配置自定义域名和SSL：

nginx
server {
    listen 80;
    server_name crawlab.example.com;
    return 301 [***]
}

server {
    listen 443 ssl;
    server_name crawlab.example.com;
    
    ssl_certificate /etc/nginx/ssl/cert.pem;
    ssl_certificate_key /etc/nginx/ssl/key.pem;
    
    location / {
        proxy_pass [***]
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

集群扩展

添加更多工作节点以提高爬取能力：

bash
# 添加工作节点1
docker run -d --name crawlab-worker-1 \
  --link crawlab-master:master \
  --link crawlab-mongo:mongo \
  --link crawlab-redis:redis \
  -e CRAWLAB_NODE_MASTER=false \
  -e CRAWLAB_GRPC_ADDRESS=master:9000 \
  -e CRAWLAB_MONGO_URI=mongodb://mongo:27017/crawlab \
  -e CRAWLAB_REDIS_URI=redis://redis:6379/0 \
  crawlab/pro:latest

# 添加工作节点2
docker run -d --name crawlab-worker-2 \
  --link crawlab-master:master \
  --link crawlab-mongo:mongo \
  --link crawlab-redis:redis \
  -e CRAWLAB_NODE_MASTER=false \
  -e CRAWLAB_GRPC_ADDRESS=master:9000 \
  -e CRAWLAB_MONGO_URI=mongodb://mongo:27017/crawlab \
  -e CRAWLAB_REDIS_URI=redis://redis:6379/0 \
  crawlab/pro:latest

维护与更新

查看日志

bash
docker logs -f crawlab-master

更新镜像

bash
# 拉取最新镜像
docker pull crawlab/pro:latest

# 重启服务
docker-compose down
docker-compose up -d

数据备份

bash
# 备份MongoDB数据
docker exec crawlab-mongo mongodump --db crawlab --out /data/backup
docker cp crawlab-mongo:/data/backup ./backup

# 备份任务代码
docker cp crawlab-master:/app/tasks ./tasks-backup

常见问题

无法访问Web界面

检查端口映射和防火墙设置：

bash
# 检查容器状态
docker ps | grep crawlab-master

# 检查端口监听
netstat -tulpn | grep 8080

爬虫任务执行失败

检查日志获取详细错误信息：

bash
# 查看爬虫任务日志
docker exec -it crawlab-master cat /app/logs/task/[task-id].log

忘记管理员密码

通过环境变量重置密码：

yaml
environment:
  - CRAWLAB_RESET_PASSWORD=true
  - CRAWLAB_USERNAME=admin
  - CRAWLAB_PASSWORD=newpassword

重启容器后，密码将被重置，之后可以移除CRAWLAB_RESET_PASSWORD环境变量。

相关资源

• 官方文档
• GitHub仓库
• 社区论坛
• API文档
• 视频教程

许可证信息

Crawlab Pro是商业软件，使用前请确保已获得合法授权。详细许可条款请参见官方许可协议。