naorlivne/mesos-cloudwatch-autoscale

mesos-cloudwatch-autoscale

镜像概述

这是一个轻量级容器，设计用于在Metronome（或其他类似Mesos定时调度框架）中运行，定期采集Mesos集群的CPU、内存、硬盘使用率百分比，并将这些指标导出到AWS CloudWatch，以便基于指标实现Mesos集群worker节点的自动扩缩容。

核心功能

• 采集Mesos集群当前的CPU、内存、硬盘资源使用率百分比
• 将指标同步到AWS CloudWatch，生成自定义监控指标
• 支持通过环境变量配置AWS认证信息、Mesos集群地址及指标命名规则

使用场景

• 需要根据Mesos集群资源使用情况自动调整worker节点数量的场景
• 需要将Mesos资源指标整合到AWS CloudWatch监控体系的场景
• 希望通过CloudWatch告警触发集群扩缩容策略的场景

配置说明

需通过环境变量提供以下配置：

• AWS_ACCESS_KEY_ID：AWS访问密钥ID（或使用IAM角色）
• AWS_SECRET_ACCESS_KEY：AWS秘密访问密钥（或使用IAM角色）
• AWS_DEFAULT_REGION：AWS区域（例如：us-east-1）
• MESOS_URL：Mesos集群领导者地址（例如：leader.mesos，适用于集群内部访问）
• MESOS_PORT：Mesos端口（例如：5050）
• METRICS_PREFIX：指标前缀（例如：mesos_）
• METRICS_NAMESPACE：CloudWatch指标命名空间（例如：mesos/）

镜像会生成以下3个CloudWatch指标：

• metrics_prefix_mem_percentage：内存使用率百分比
• metrics_prefix_cpu_percentage：CPU使用率百分比
• metrics_prefix_hd_percentage：硬盘使用率百分比

部署示例

Metronome任务配置示例

json
{
  "id": "mesos-cloudwatch-autoscale",
  "run": {
    "cmd": "docker pull naorlivne/mesos-cloudwatch-autoscale:latest && docker run --rm -e METRICS_NAMESPACE=mesos/ -e AWS_ACCESS_KEY_ID=你的AWS密钥ID -e AWS_SECRET_ACCESS_KEY=你的AWS秘密密钥 -e MESOS_URL=http://leader.mesos -e AWS_DEFAULT_REGION=us-east-1 -e MESOS_PORT=5050 -e METRICS_PREFIX=dev_dcos naorlivne/mesos-cloudwatch-autoscale:latest",
    "cpus": 0.1,
    "mem": 256,
    "disk": 100
  },
  "schedules": [
    {
      "id": "default",
      "enabled": true,
      "cron": "*/5 * * * *",
      "timezone": "UTC",
      "concurrencyPolicy": "ALLOW",
      "startingDeadlineSeconds": 30
    }
  ]
}

Docker Run命令示例

bash
docker run --rm \
  -e AWS_ACCESS_KEY_ID=你的AWS密钥ID \
  -e AWS_SECRET_ACCESS_KEY=你的AWS秘密密钥 \
  -e AWS_DEFAULT_REGION=us-east-1 \
  -e MESOS_URL=[***] \
  -e MESOS_PORT=5050 \
  -e METRICS_PREFIX=mesos_ \
  -e METRICS_NAMESPACE=mesos/ \
  naorlivne/mesos-cloudwatch-autoscale:latest