apache/shardingsphere-elasticjob-cloud-scheduler

Apache ShardingSphere ElasticJob Cloud Scheduler 镜像文档

镜像概述

Apache ShardingSphere ElasticJob Cloud Scheduler是Apache ShardingSphere生态中的分布式任务调度组件，专为云环境设计。它基于ElasticJob核心框架，提供分布式任务的协调、管理和执行能力，支持动态扩缩容、任务生命周期管理和高可用部署，适用于微服务架构和云原生环境下的任务调度需求。

核心功能与特性

核心功能

• 分布式任务调度：支持将任务分发到多个执行节点，实现负载均衡和并行处理
• 任务生命周期管理：提供任务的创建、启动、暂停、恢复、停止和删除全生命周期管理
• 弹性伸缩：根据集群负载和任务需求动态调整执行节点数量，优化资源利用率
• 高可用部署：支持集群部署，具备故障检测和自动故障转移能力，确保任务稳定执行

主要特性

• 任务编排：支持复杂任务依赖关系定义，实现任务流的顺序执行或并行执行
• 动态配置：支持运行时调整任务参数，无需重启调度器
• 监控与追踪：提供任务执行状态、历史记录和 metrics 指标，便于问题排查和性能优化
• 多注册中心支持：默认集成 ZooKeeper，可扩展支持其他注册中心（如 Nacos）
• 轻量级设计：基于 Java 开发，容器化部署友好，资源占用低

使用场景与适用范围

典型使用场景

• 微服务定时任务：在微服务架构中统一调度各服务的定时任务，避免单点部署风险
• 大数据处理任务：分发数据处理任务到多个节点，提高处理效率
• 周期性业务操作：如数据备份、报表生成、日志清理等周期性任务的自动化执行
• 分布式系统协调：协调跨节点的业务流程，确保操作一致性

适用范围

• 云原生环境（Kubernetes、Docker Swarm 等容器编排平台）
• 微服务架构或分布式系统
• 需要高可靠性和可扩展性的任务调度场景
• 任务执行节点动态变化的环境

使用方法

前置条件

• 已安装 Docker 或 Docker Compose
• 已部署注册中心（如 ZooKeeper，推荐 3.5+ 版本）

Docker Run 示例

基础启动命令

bash
docker run -d \
  --name elasticjob-cloud-scheduler \
  -p 8899:8899 \
  -e REG_CENTER_TYPE=zookeeper \
  -e REG_CENTER_SERVER_LISTS=zk-node1:2181,zk-node2:2181,zk-node3:2181 \
  -e REG_CENTER_NAMESPACE=elasticjob-cloud \
  -e SCHEDULER_PORT=8899 \
  apache/shardingsphere-elasticjob-cloud-scheduler:latest

参数说明

• -p 8899:8899：映射调度器端口（默认 8899）
• REG_CENTER_TYPE：注册中心类型，默认值为 zookeeper
• REG_CENTER_SERVER_LISTS：注册中心地址列表（必填）
• REG_CENTER_NAMESPACE：注册中心命名空间，用于隔离不同环境的调度器集群
• SCHEDULER_PORT：调度器服务端口，默认 8899

挂载配置文件（高级用法）

如需自定义配置，可挂载本地配置文件：

bash
docker run -d \
  --name elasticjob-cloud-scheduler \
  -p 8899:8899 \
  -v /path/to/your/application.properties:/opt/shardingsphere-elasticjob-cloud-scheduler/conf/application.properties \
  apache/shardingsphere-elasticjob-cloud-scheduler:latest

Docker Compose 示例

docker-compose.yml

yaml
version: '3.8'

services:
  zookeeper:
    image: zookeeper:3.8
    ports:
      - "2181:2181"
    environment:
      - ZOO_MY_ID=1
      - ZOO_SERVERS=server.1=0.0.0.0:2888:3888;2181
    volumes:
      - zk-data:/data
      - zk-datalog:/datalog

  elasticjob-scheduler:
    image: apache/shardingsphere-elasticjob-cloud-scheduler:latest
    depends_on:
      - zookeeper
    ports:
      - "8899:8899"
    environment:
      - REG_CENTER_TYPE=zookeeper
      - REG_CENTER_SERVER_LISTS=zookeeper:2181
      - REG_CENTER_NAMESPACE=elasticjob-cloud-demo
      - SCHEDULER_PORT=8899
      - LOG_LEVEL=INFO
    restart: always

volumes:
  zk-data:
  zk-datalog:

启动命令：

bash
docker-compose up -d

配置参数说明

环境变量配置

配置文件自定义

如需更复杂的配置，可通过挂载 application.properties 文件实现，配置项参考：

properties
# 注册中心配置
elasticjob.reg-center.type=zookeeper
elasticjob.reg-center.server-lists=zk-node1:2181,zk-node2:2181
elasticjob.reg-center.namespace=elasticjob-cloud
elasticjob.reg-center.digest=admin:123456

# 调度器配置
elasticjob.scheduler.port=8899
elasticjob.scheduler.max-tasks-per-server=200
elasticjob.scheduler.reconcile-interval=30000

# 日志配置
logging.level.root=INFO
logging.file.path=/var/log/elasticjob

注意事项

1. 注册中心是调度器集群的核心依赖，需确保注册中心集群高可用
2. 生产环境建议部署多个调度器节点，通过注册中心自动协调，实现高可用
3. 任务执行节点（Worker）需能访问调度器和注册中心，网络需互通
4. 调整 SCHEDULER_MAX_TASKS_PER_SERVER 时需考虑服务器资源（CPU、内存）限制