task-cleanup

镜像概述和主要用途

task-cleanup用于监控ECS集群中特定家族的运行任务，当任务年龄超过设定的最大阈值时自动终止这些任务。这解决了ECS中“一次性”任务可能挂起不释放资源的问题，避免占用集群资源影响其他任务运行，实现自动修复。

核心功能和特性

• 监控ECS集群中指定前缀的任务
• 根据任务运行年龄判断是否需要终止（默认48小时）
• 支持Dry Run模式（仅显示操作，不实际终止任务）
• 提供两种运行方案：Docker容器（可作为ECS任务调度）和Lambda函数（可定期触发）
• 支持通过AWS角色或访问密钥/密钥对进行AWS认证

使用场景和适用范围

适用于需要定期清理ECS集群中长时间运行的“一次性”任务的场景，尤其适合以下情况：

• 云Formation生成的任务定义（带有随机后缀）
• 需跨多个AWS区域或集群进行任务清理
• 希望通过自动化方式减少手动运维工作

详细使用方法和配置说明

解决方案

提供两种独立解决方案：可作为Docker容器运行（调度为ECS任务）和Lambda函数运行（定期触发）。

Lambda 方案

用法

该工具设计为定期运行，可通过调度Lambda函数实现。包含示例samconfig.toml文件，需填写适当值。若需操作多个集群（如多区域），可修改template.yaml，添加类似ScheduleUsEast1的事件。

配置完成后，构建并部署Lambda：

cd lambda
sam build && sam deploy --config-env prod --profile <aws_cli_profile_name>

Docker 方案

前提条件

• 已安装Docker
• 具备AWS角色（EC2上运行时）或访问密钥/密钥对

用法

通过Docker运行是最简单的方式，需传入ECS任务相关变量。

1. 拉取镜像：

docker pull signiant/task-cleanup

2. 运行容器：

docker run \
   signiant/task-cleanup \
       --task-name-prefix one-time-task \
       --cluster-name test-cluster \
       --max-age 30 \
       --region us-east-1 \
       --dryrun

参数说明：

• --task-name-prefix：监控的“一次性”任务前缀（因CloudFormation生成的任务定义带有随机后缀，以此匹配）
• --cluster-name：ECS集群名称
• --max-age：任务最大允许运行年龄（小时，默认48）
• --region：AWS区域
• --dryrun：仅显示操作，不实际终止任务

上述示例中，工具会查询集群中任务定义以one-time-task为前缀的活跃任务，检查运行时间超过30小时的任务并终止。

使用AWS访问密钥/密钥对： 若未使用AWS角色，可通过环境变量传入访问密钥：

docker run \
  -e AWS_ACCESS_KEY_ID=XXXXXX \
  -e AWS_SECRET_ACCESS_KEY=XXXXX \
  signiant/task-cleanup \
        --task-name-prefix one-time-task \
        --cluster-name test-cluster \
        --region us-east-1