emccorp/provision

ECS Flex Provisioning 镜像文档

概述

ECS Flex Provisioning 镜像旨在简化 AWS Elastic Container Service (ECS) 集群的资源管理流程，通过集成 AWS API 实现集群资源的弹性配置、自动扩缩容及任务调度优化。该镜像提供开箱即用的配置管理能力，适用于需要动态调整资源以应对负载变化的 ECS 环境。

核心功能与特性

1. 弹性资源管理

• 支持基于 CPU/内存使用率、自定义指标的自动扩缩容策略
• 动态调整 ECS 集群实例数量及任务资源分配
• 兼容 ECS Fargate 和 EC2 启动类型

2. 配置自动化

• 通过 YAML/JSON 配置文件定义资源策略，支持版本控制
• 集成 AWS Secrets Manager 管理敏感配置（如 API 密钥）
• 提供默认配置模板，简化初始部署流程

3. 任务调度优化

• 支持多种调度策略（spread、binpack、random）
• 基于实例属性（如实例类型、可用区）的任务放置约束
• 自动规避资源瓶颈实例，提高集群资源利用率

4. 监控与日志集成

• 原生支持 CloudWatch 指标上报（CPU/内存使用率、任务状态）
• 输出结构化日志，兼容 ELK Stack 和 AWS CloudWatch Logs
• 提供健康检查接口，便于外部监控系统集成

使用场景

1. 弹性扩展的生产环境

适用于流量波动较大的 ECS 集群（如电商促销、限时活动），通过自动扩缩容平衡性能与成本。

2. 多环境统一管理

支持开发、测试、生产环境的配置隔离，通过环境变量区分配置策略，实现一套工具管理多集群。

3. 资源优化场景

针对资源利用率低的集群，自动调整任务资源分配，减少闲置资源消耗，降低云服务成本。

使用方法

前提条件

• AWS 账号及具备以下权限的 IAM 角色：
  • ecs:UpdateService、ecs:DescribeClusters
  • autoscaling:UpdateAutoScalingGroup
  • cloudwatch:GetMetricStatistics
• Docker 19.03+ 环境
• 网络可访问 AWS API（通过 VPC 终端节点或公网）

快速启动

Docker Run 命令

bash
docker run -d \
  --name ecs-flex-provisioner \
  -e AWS_ACCESS_KEY_ID="AKIAEXAMPLE" \
  -e AWS_SECRET_ACCESS_KEY="secret" \
  -e AWS_REGION="us-west-2" \
  -v /local/config:/app/config \
  -v /var/run/docker.sock:/var/run/docker.sock \
  ecs-flex-provisioning:latest

Docker Compose 配置

yaml
version: '3.8'
services:
  provisioner:
    image: ecs-flex-provisioning:latest
    container_name: ecs-flex-provisioner
    environment:
      - AWS_ACCESS_KEY_ID=AKIAEXAMPLE
      - AWS_SECRET_ACCESS_KEY=secret
      - AWS_REGION=us-west-2
      - LOG_LEVEL=INFO
    volumes:
      - ./config:/app/config
      - /var/run/docker.sock:/var/run/docker.sock
    restart: unless-stopped

环境变量配置

配置文件示例

通过挂载 config.yaml 自定义资源策略（默认路径 /app/config/config.yaml）：

yaml
cluster: my-production-cluster
scaling:
  min_instances: 3          # 最小实例数
  max_instances: 15         # 最大实例数
  cpu_threshold: 75         # CPU 使用率阈值（触发扩容）
  memory_threshold: 80      # 内存使用率阈值（触发扩容）
  cooldown_period: 300      # 冷却时间（秒）
scheduling:
  strategy: binpack         # 调度策略：binpack/spread/random
  constraints:
    - attribute: "ecs.instance-type"
      operator: "in"
      values: ["t3.medium", "t3.large"]
  placement_preferences:
    - type: "spread"
      field: "attribute:ecs.availability-zone"

验证与调试

1. 查看容器日志：

   bash
   docker logs -f ecs-flex-provisioner
   

2. 验证配置生效：

   bash
   # 检查集群当前资源状态
   aws ecs describe-clusters --cluster my-production-cluster
   

3. 查看 CloudWatch 指标：

   • 命名空间：ECS/FlexProvisioning
   • 指标名称：ClusterScalingEvents、ResourceUtilization

注意事项

• 生产环境建议使用 IAM 角色授权（而非 access key），通过挂载 AWS 凭证文件（/root/.aws/credentials）实现
• 配置文件变更后需重启容器或发送 SIGHUP 信号触发配置重载
• 扩缩容操作受 AWS ECS 服务配额限制，建议提前确认集群资源配额