hashicorppreview/nomad-autoscaler

Nomad Autoscaler 镜像文档

1. 镜像概述和主要用途

Nomad Autoscaler 是 HashiCorp 推出的自动扩缩容工具，专为与 Nomad 调度器集成设计，用于根据预定义策略动态调整 Nomad 作业（Jobs）或客户端节点（Client Nodes）的数量。本镜像为开发（dev）版本，适用于开发、测试环境验证功能；生产环境应使用官方稳定镜像（https://hub.docker.com/r/hashicorp/nomad-autoscaler%EF%BC%89%E3%80%82

主要用途：

• 基于指标（CPU、内存、自定义业务指标等）自动调整 Nomad 作业实例数量
• 动态优化 Nomad 客户端节点集群规模，提升资源利用率
• 集成外部监控系统（如 Prometheus、Datadog）实现自定义指标驱动的扩缩
• 支持水平扩缩（实例数量调整）和垂直扩缩（资源配置调整，需 Nomad 作业支持）

2. 核心功能和特性

2.1 扩缩能力

• 水平自动扩缩（HAS）：调整 Nomad 作业的任务组（Task Groups）实例数量，支持多维度指标触发
• 节点池扩缩：根据集群资源使用率（如节点 CPU/内存）自动添加/移除 Nomad 客户端节点（需与云服务商 API 集成，如 AWS Auto Scaling Groups）
• 垂直扩缩（实验性）：动态调整作业的 CPU/内存资源分配（依赖 Nomad 作业配置中的资源约束范围）

2.2 策略与指标支持

• 多策略类型：支持目标跟踪（Target Tracking）、步进调整（Step Scaling）、阈值触发（Threshold）等策略模式
• 内置指标采集：原生支持 Nomad 集群指标（作业资源使用率、节点状态）和主机级指标
• 外部指标集成：通过插件机制对接 Prometheus、AWS CloudWatch、Datadog 等外部监控系统，支持自定义指标扩缩
• 策略冷却与优先级：支持扩缩操作冷却期配置，避免频繁波动；支持多策略优先级定义

2.3 集成与兼容性

• 无缝集成 Nomad：通过 Nomad API 实现作业/节点控制，支持 Nomad ACL 认证与 TLS 加密
• 插件化架构：支持扩展指标采集器、扩缩目标类型和策略评估逻辑
• 高可用部署：支持多实例部署（需配置共享状态存储，如 Consul），避免单点故障

3. 使用场景和适用范围

3.1 适用环境

• 开发/测试环境：使用本 dev 镜像验证扩缩策略逻辑、插件功能及与 Nomad 集群的集成兼容性
• 生产环境：需替换为官方稳定镜像，用于生产服务的自动化扩缩、集群资源优化

3.2 典型使用场景

• 微服务流量适配：电商平台订单服务在流量高峰期自动扩容，低峰期缩容，降低资源成本
• 集群资源优化：根据 Nomad 客户端节点的资源使用率动态调整节点数量，避免闲置资源浪费
• 业务指标驱动扩缩：基于用户注册量、消息队列长度等业务指标调整服务容量，保障系统稳定性
• 多区域集群协同：跨区域 Nomad 集群的服务扩缩协同，确保各区域资源负载均衡

4. 使用方法和配置说明

4.1 前置条件

• 运行中的 Nomad 集群（推荐版本 ≥ 1.3.0，需与 Autoscaler 版本兼容）
• Nomad 集群 API 地址可访问（默认端口 4646）
• 若 Nomad 启用 ACL，需配置具备以下权限的 Token：job:read、job:update、node:read、node:update

4.2 镜像拉取

bash
# 拉取开发版本（本镜像）
docker pull docker.xuanyuan.run/hashicorp/nomad-autoscaler:dev

# 生产环境建议使用稳定版
# docker pull docker.xuanyuan.run/hashicorp/nomad-autoscaler:latest

4.3 基本运行（docker run）

4.3.1 简易启动（连接本地 Nomad 集群）

bash
docker run -d \
  --name nomad-autoscaler-dev \
  -e NOMAD_ADDR=http://host.docker.internal:4646 \  # Nomad API 地址（宿主机地址）
  -v $(pwd)/policies:/etc/nomad-autoscaler/policies  # 挂载扩缩策略文件目录
  hashicorp/nomad-autoscaler:dev

4.3.2 带 ACL 和 TLS 配置的启动

bash
docker run -d \
  --name nomad-autoscaler-dev \
  -e NOMAD_ADDR=https://nomad-server:4646 \          # Nomad 集群 HTTPS 地址
  -e NOMAD_TOKEN=your-nomad-acl-token \              # Nomad ACL Token
  -e NOMAD_TLS_INSECURE=false \                      # 启用 TLS 证书验证
  -e NOMAD_CACERT=/etc/nomad/tls/ca.pem \            # TLS CA 证书路径
  -v $(pwd)/tls:/etc/nomad/tls \                     # 挂载 TLS 证书目录（包含 ca.pem、client.pem、client-key.pem）
  -v $(pwd)/policies:/etc/nomad-autoscaler/policies \ # 挂载策略文件目录
  -v $(pwd)/plugins:/etc/nomad-autoscaler/plugins \   # 挂载外部插件目录（如 Prometheus 插件）
  hashicorp/nomad-autoscaler:dev \
  --config /etc/nomad-autoscaler/config.hcl          # 自定义配置文件路径

4.4 docker-compose 配置示例

yaml
version: '3.8'
services:
  nomad-autoscaler:
    image: docker.xuanyuan.run/hashicorp/nomad-autoscaler:dev
    container_name: nomad-autoscaler-dev
    restart: unless-stopped
    environment:
      - NOMAD_ADDR=http://nomad-server:4646         # Nomad 集群 API 地址
      - NOMAD_TOKEN=${NOMAD_TOKEN}                  # 从环境变量注入 Nomad ACL Token
      - LOG_LEVEL=info                              # 日志级别（trace/debug/info/warn/error）
      - EVALUATION_INTERVAL=10s                     # 策略评估间隔（默认 10s）
    volumes:
      - ./policies:/etc/nomad-autoscaler/policies:ro  # 只读挂载策略文件目录
      - ./config.hcl:/etc/nomad-autoscaler/config.hcl:ro  # 自定义配置文件
      - ./plugins:/etc/nomad-autoscaler/plugins:ro      # 插件目录
    networks:
      - nomad-network                               # 连接到 Nomad 集群所在网络

networks:
  nomad-network:
    external: true                                  # 假设 Nomad 集群使用外部网络

4.5 配置说明

4.5.1 环境变量

4.5.2 核心配置文件（config.hcl）

配置文件使用 HCL 格式，支持详细参数定义，示例：

hcl
# 全局配置
log_level           = "debug"                   # 日志级别
plugin_dir          = "/etc/nomad-autoscaler/plugins"  # 插件目录
evaluation_interval = "10s"                     # 策略评估间隔

# Nomad 连接配置
nomad {
  address = "https://nomad-server:4646"
  token   = "your-nomad-acl-token"
  tls {
    ca_cert   = "/etc/nomad/tls/ca.pem"         # CA 证书路径
    cert      = "/etc/nomad/tls/client.pem"     # 客户端证书路径
    key       = "/etc/nomad/tls/client-key.pem" # 客户端密钥路径
    insecure  = false                           # 启用证书验证
  }
}

# 指标采集器配置（Prometheus 示例）
metrics "prometheus" {
  driver = "prometheus"
  config = {
    address = "http://prometheus:9090"          # Prometheus 地址
    timeout = "10s"                             # 超时时间
  }
}

# 扩缩目标配置（Nomad 作业）
target "nomad_job" {
  driver = "nomad_job"
}

# 扩缩目标配置（节点池）
target "nomad_node_pool" {
  driver = "nomad_node_pool"
}

4.5.3 扩缩策略文件

策略文件定义具体扩缩规则，存放于挂载的 policies 目录（如 /etc/nomad-autoscaler/policies/example-job.hcl），示例：

hcl
# Nomad 作业水平扩缩策略示例
scaling "job" {
  enabled = true
  min     = 2                  # 最小实例数
  max     = 10                 # 最大实例数
  policy {
    cooldown            = "2m"  # 扩缩后冷却时间（避免抖动）
    evaluation_interval = "30s" # 策略评估间隔

    # 基于 Nomad 原生 CPU 指标的检查规则
    check "cpu_usage" {
      source = "nomad"         # 指标源（nomad/prometheus/etc.）
      query  = <<EOF
        sum(nomad_client_allocation_cpu_usage_percent{job_id=~"^example-job$"}) 
        / 
        count(nomad_client_allocation_cpu_usage_percent{job_id=~"^example-job$"})
      EOF
      strategy "target" {
        target_value = 70.0    # 目标 CPU 使用率（70%）
      }
    }

    # 基于 Prometheus 自定义指标的检查规则（如请求量）
    check "request_count" {
      source = "prometheus"
      query  = "sum(rate(http_requests_total{job=\"example-job\"}[5m]))"
      strategy "threshold" {
        upper_bound = 1000     # 上限阈值（超过则扩容）
        lower_bound = 200      # 下限阈值（低于则缩容）
        step_up     = 1        # 每次扩容增加实例数
        step_down   = 1        # 每次缩容减少实例数
      }
    }
  }
}

4.6 常用操作

• 查看日志：docker logs -f nomad-autoscaler-dev
• 验证策略加载：容器内执行 nomad-autoscaler policy list（需配置 Nomad 连接）
• 动态更新策略：修改宿主机 policies 目录下的策略文件，Autoscaler 会自动加载（默认每 60s 检查更新）

5. 注意事项

• 本镜像为开发版本，不保证功能稳定性，生产环境必须使用官方稳定镜像
• 扩缩策略需结合业务场景测试，避免因策略参数（如冷却时间、阈值）不当导致服务不可用
• 启用 TLS 时，确保 Nomad 集群证书与 Autoscaler 配置的证书路径、文件名一致
• 高可用性部署需配置共享状态存储（如 Consul），避免多实例间策略评估冲突