gaojinxi123/xxl-job

分布式定时任务调度镜像

概述

该镜像提供分布式环境下的定时任务调度解决方案，旨在解决单点部署定时任务的可靠性问题，支持多节点协同执行定时任务，确保任务在分布式系统中高效、稳定、可靠地运行。通过分布式架构设计，可避免单点故障导致的任务丢失，适用于各类需要定时执行任务的业务场景。

核心功能与特性

• 分布式任务调度：支持多节点自动协同，任务根据负载均衡策略分发至可用节点执行，提高资源利用率
• 高可用设计：节点故障时自动转移任务至健康节点，保障任务不丢失、不重复执行
• 灵活的任务触发方式：支持CRON表达式、固定间隔、一次性触发等多种调度模式
• 任务监控与追溯：提供任务执行状态实时监控、历史执行记录查询及失败原因分析
• 失败重试机制：可配置任务失败后的重试次数与重试间隔，降低人工干预成本
• 扩展性支持：支持自定义任务执行逻辑、任务参数传递及执行结果回调

使用场景

• 数据同步场景：跨系统/跨数据库的定时数据同步（如业务数据备份、跨平台数据整合）
• 周期性业务处理：每日/每周报表生成、账单结算、会员权益更新等固定周期任务
• 系统运维任务：日志清理、磁盘空间检查、服务健康巡检等系统维护操作
• 批量数据处理：海量数据批量计算、数据脱敏、数据归档等耗时任务的定时执行
• 跨节点协同任务：需要多节点按顺序或并行执行的复杂业务流程（如分布式事务协调）

使用方法

快速启动（Docker Run）

bash
docker run -d \
  --name distributed-task-node \
  -e SPRING_DATASOURCE_URL=jdbc:mysql://mysql-host:3306/task_db?useSSL=false \
  -e SPRING_DATASOURCE_USERNAME=task_user \
  -e SPRING_DATASOURCE_PASSWORD=task_password \
  -e TASK_NODE_NAME=node-01 \
  -e TASK_REGISTRY_TYPE=redis \
  -e REDIS_HOST=redis-host \
  -e REDIS_PORT=6379 \
  -p 8080:8080 \
  --restart=always \
  distributed-task:latest

Docker Compose配置示例

yaml
version: '3.8'
services:
  task-node-1:
    image: distributed-task:latest
    container_name: task-node-1
    environment:
      - SPRING_DATASOURCE_URL=jdbc:mysql://mysql:3306/task_db?useSSL=false&serverTimezone=UTC
      - SPRING_DATASOURCE_USERNAME=root
      - SPRING_DATASOURCE_PASSWORD=root_password
      - TASK_NODE_NAME=task-node-1
      - TASK_REGISTRY_TYPE=mysql
      - TASK_LOG_LEVEL=INFO
      - TASK_RETRY_MAX=3
      - TASK_RETRY_INTERVAL=60
    ports:
      - "8080:8080"
    depends_on:
      - mysql
    restart: always

  task-node-2:
    image: distributed-task:latest
    container_name: task-node-2
    environment:
      - SPRING_DATASOURCE_URL=jdbc:mysql://mysql:3306/task_db?useSSL=false&serverTimezone=UTC
      - SPRING_DATASOURCE_USERNAME=root
      - SPRING_DATASOURCE_PASSWORD=root_password
      - TASK_NODE_NAME=task-node-2
      - TASK_REGISTRY_TYPE=mysql
      - TASK_LOG_LEVEL=INFO
    ports:
      - "8081:8080"
    depends_on:
      - mysql
    restart: always

  mysql:
    image: mysql:8.0
    container_name: task-mysql
    environment:
      - MYSQL_ROOT_PASSWORD=root_password
      - MYSQL_DATABASE=task_db
    volumes:
      - mysql-data:/var/lib/mysql
    ports:
      - "3306:3306"
    healthcheck:
      test: ["CMD", "mysqladmin", "ping", "-h", "localhost"]
      interval: 10s
      timeout: 5s
      retries: 5

volumes:
  mysql-data:

环境变量配置说明

任务配置方法

任务定义规范

任务需通过配置文件或API注册，支持JSON格式定义，示例如下：

json
{
  "taskId": "user-stat-report",
  "taskName": "用户统计报表生成",
  "cronExpression": "0 0 2 * * ?",  // 每日凌晨2点执行
  "executorClass": "com.example.tasks.UserStatReportTask",  // 任务执行类全路径
  "taskParams": "{\"reportType\":\"daily\",\"limit\":1000}",  // 任务参数（JSON字符串）
  "timeout": 1800,  // 任务超时时间（单位：秒）
  "shardingStrategy": "AUTO",  // 分片策略（AUTO/ROUND_ROBIN/指定分片键）
  "maxConcurrent": 3,  // 最大并发执行数
  "failStrategy": "RETRY"  // 失败策略（RETRY/ALERT/IGNORE）
}

任务执行类要求

自定义任务执行类需实现TaskExecutor接口，并重写execute方法，示例：

java
public class UserStatReportTask implements TaskExecutor {
    @Override
    public TaskResult execute(TaskParam param) {
        // 任务执行逻辑
        String reportType = param.getParam("reportType");
        int limit = Integer.parseInt(param.getParam("limit"));
        // ...业务处理...
        return TaskResult.success("报表生成成功，文件路径：/reports/" + reportType + "_" + System.currentTimeMillis() + ".csv");
    }
}

注意事项

1. 数据库初始化：首次启动前需执行数据库初始化脚本（镜像内置初始化入口，通过环境变量INIT_DB=true触发）
2. 节点唯一性：分布式环境中TASK_NODE_NAME必须唯一，否则会导致任务调度异常
3. 网络配置：确保各节点间网络互通，注册中心（数据库/Redis/Zookeeper）可被所有节点访问
4. 资源规划：根据任务类型和频率调整线程池大小（TASK_THREAD_POOL_SIZE），避免资源竞争
5. 任务幂等性：自定义任务需确保幂等性，防止因重试或节点故障导致重复执行引发数据异常