naorlivne/marathon-rabbit-autoscale

marathon-rabbit-autoscale镜像说明

镜像概述

marathon-rabbit-autoscale镜像可根据RabbitMQ队列的等待消息数量自动调整Marathon服务的任务实例数，通过Metronome定时任务执行，需依赖RabbitMQ的HTTP管理API获取队列长度（无需提前声明队列）。

核心功能

• 基于RabbitMQ队列大小动态扩展/缩容Marathon服务
• 限制任务实例数在MIN_TASK_SIZE和MAX_TASK_SIZE范围内
• 通过Metronome定时任务周期性执行伸缩逻辑

使用场景

适用于需要根据消息队列负载动态调整服务实例数的场景，例如：

• 消息处理服务（如异步任务分发、日志处理）
• 高并发场景下的服务自动扩缩容需求

配置说明

需设置以下环境变量：

• MIN_TASK_SIZE：服务的最小任务实例数
• MAX_TASK_SIZE：服务的最大任务实例数
• SCALE_EVERY_X_WAITING_MESSAGES：触发伸缩的等待消息数量阈值
• RABBIT_HOST：RabbitMQ服务器地址
• RABBIT_API_PORT：RabbitMQ HTTP管理API端口（示例：***）
• RABBIT_VHOST：RabbitMQ虚拟主机（示例：/）
• RABBIT_QUEUE：需监控的RabbitMQ队列名称
• RABBIT_USER：RabbitMQ用户名
• RABBIT_PASSWORD：RabbitMQ密码
• MARATHON_URL：Marathon服务地址（示例：leader.mesos，适用于Mesos内部）
• MARATHON_PORT：Marathon服务端口（示例：8080）
• MARATHON_APP：需伸缩的Marathon应用名称

部署示例

Metronome任务配置

json
{
  "id": "marathon-rabbit-autoscale",
  "run": {
    "cmd": "docker pull naorlivne/marathon-rabbit-autoscale:latest && docker run --rm -e MARATHON_APP=/app_name -e MIN_TASK_SIZE=5 -e SCALE_EVERY_X_WAITING_MESSAGES=500 -e RABBIT_HOST=your_rabbit_host -e RABBIT_API_PORT=your_rabbit_api_port -e RABBIT_VHOST=your_rabbit_vhost -e RABBIT_PASSWORD=your_rabbit_pass -e RABBIT_USER=your_rabbit_user -e RABBIT_QUEUE=rabbit_queue_to_scale_by -e MARATHON_URL=leader.mesos -e MARATHON_PORT=8080 naorlivne/marathon-rabbit-autoscale:latest",
    "cpus": 0.1,
    "mem": 256,
    "disk": 100
  },
  "schedules": [
    {
      "id": "default",
      "enabled": true,
      "cron": "*/5 * * * *",
      "timezone": "UTC",
      "concurrencyPolicy": "ALLOW",
      "startingDeadlineSeconds": 30
    }
  ]
}

Docker Run命令示例

bash
docker run --rm \
  -e MIN_TASK_SIZE=5 \
  -e MAX_TASK_SIZE=20 \
  -e SCALE_EVERY_X_WAITING_MESSAGES=500 \
  -e RABBIT_HOST=rabbit.example.com \
  -e RABBIT_API_PORT=*** \
  -e RABBIT_VHOST=/ \
  -e RABBIT_QUEUE=task_queue \
  -e RABBIT_USER=admin \
  -e RABBIT_PASSWORD=secret \
  -e MARATHON_URL=marathon.example.com \
  -e MARATHON_PORT=8080 \
  -e MARATHON_APP=/my_service \
  naorlivne/marathon-rabbit-autoscale:latest