pottava/ecs-task-runner

AWS Fargate同步任务运行器（Amazon ECS）

https://circleci.com/gh/pottava/ecs-task-runner.svg?style=svg](https://circleci.com/gh/pottava/ecs-task-runner)

http://dockeri.co/image/pottava/ecs-task-runner](https://hub.docker.com/r/pottava/ecs-task-runner/)

支持的标签及对应的Dockerfile链接：
・latest (https://github.com/pottava/ecs-task-runner/blob/master/versions/3.0/Dockerfile)
・3.0 (https://github.com/pottava/ecs-task-runner/blob/master/versions/3.0/Dockerfile)
・2.3 (https://github.com/pottava/ecs-task-runner/blob/master/versions/2.3/Dockerfile)
・1 (https://github.com/pottava/ecs-task-runner/blob/master/versions/1.2/Dockerfile)

镜像概述

这是一款适用于AWS Fargate的同步任务运行器。它能在Fargate上运行Docker容器并等待其完成，然后从CloudWatch Logs返回容器的标准输出日志。所有所需资源均为临时创建，并在任务完成后自动清理。

核心功能与特性

• 同步执行：等待Fargate任务完成后返回结果，支持获取容器退出码
• 自动资源管理：临时创建ECS任务所需资源（如任务定义、执行角色等），任务结束后自动清理
• 日志集成：自动从CloudWatch Logs收集并返回容器标准输出日志
• 灵活配置：支持自定义CPU、内存、网络（子网、安全组）、环境变量等参数
• 成本优化：可选使用Fargate Spot降低运行成本
• 身份验证：支持AWS访问密钥、角色扮演（含MFA）等多种身份验证方式

使用场景

• 需要在AWS Fargate上运行一次性同步任务（如数据处理、批处理作业）
• CI/CD流程中需在隔离环境执行测试或部署任务
• 需获取任务执行结果及日志用于后续处理的场景
• 需要临时运行容器并自动清理资源的场景

安装方法

curl（macOS）

sh
$ curl -Lo ecs-task-runner https://github.com/pottava/ecs-task-runner/releases/download/3.0/ecs-task-runner_darwin_amd64 \
    && chmod +x ecs-task-runner

curl（Linux）

sh
$ curl -Lo ecs-task-runner https://github.com/pottava/ecs-task-runner/releases/download/3.0/ecs-task-runner_linux_amd64 \
    && chmod +x ecs-task-runner

Go

console
go get github.com/pottava/ecs-task-runner/...

Docker

console
docker pull docker.xuanyuan.run/pottava/ecs-task-runner

参数说明

通用参数

run命令专用参数

stop命令专用参数

使用示例

基本使用（带AWS密钥）

console
$ export AWS_ACCESS_KEY_ID=AKIAIOSFODNN7EXAMPLE
$ export AWS_SECRET_ACCESS_KEY=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
$ ecs-task-runner run alpine --entrypoint env
{
  "container-1": [
    "2018-09-23T11:42:01+09:00: PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",
    "2018-09-23T11:42:01+09:00: HOSTNAME=ip-172-31-40-206.us-east-1.compute.internal",
    "2018-09-23T11:42:01+09:00: AWS_DEFAULT_REGION=ap-northeast-1",
    "2018-09-23T11:42:01+09:00: AWS_REGION=ap-northeast-1",
    "2018-09-23T11:42:01+09:00: HOME=/root"
  ]
}

使用带MFA的角色扮演

console
$ unset AWS_ACCESS_KEY_ID AWS_SECRET_ACCESS_KEY
$
$ export AWS_PROFILE=project-alpha-dev
$ export AWS_ASSUME_ROLE=arn:aws:iam::123456789012:role/rolename
$ export AWS_MFA_SERIAL_NUMBER=arn:aws:iam::123456789012:mfa/mfaname
$ export AWS_MFA_TOKEN=123456
$
$ ecs-task-runner run alpine --entrypoint env
{
  "container-1": [
    "2018-09-23T11:42:01+09:00: PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",
    "2018-09-23T11:42:01+09:00: HOSTNAME=ip-172-31-40-206.us-east-1.compute.internal",
    "2018-09-23T11:42:01+09:00: AWS_DEFAULT_REGION=ap-northeast-1",
    "2018-09-23T11:42:01+09:00: AWS_REGION=ap-northeast-1",
    "2018-09-23T11:42:01+09:00: HOME=/root"
  ]
}
$ echo $?
0

返回容器退出码

console
$ ecs-task-runner run alpine --entrypoint sh,-c --command "exit 255"
{
  "container-1": []
}
$ echo $?
255

异步运行容器

console
$ ecs-task-runner run nginx --async -p 80 --security-groups sg-public-80-abcdefg
{
  "RequestID": "ecs-task-runner-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "Tasks": [
    {
      "PublicIP": "xx.xxx.xxx.xx",
      "TaskARN": "arn:aws:ecs:us-east-1:xxxxxxxxxxxx:task/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx"
    }
  ]
}

停止异步任务

console
$ ecs-task-runner stop ecs-task-runner-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
{
  "container-1": [
    "2018-09-23T22:34:37+09:00: zzz.zz.z.zzz - - [23/Sep/2018:13:34:37 +0000] \"GET / HTTP/1.1\" 200 612 \"-\" \"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0 Safari/537.36\" \"-\""
  ]
}

详细使用方法

使用命令行参数

console
ecs-task-runner -a AKIAIOSFODNN7EXAMPLE -s wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY run sample/image

使用环境变量

console
export AWS_ACCESS_KEY_ID=AKIAIOSFODNN7EXAMPLE
export AWS_SECRET_ACCESS_KEY=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
ecs-task-runner run sample/image

使用ECR短名称

console
export AWS_ACCESS_KEY_ID=AKIAIOSFODNN7EXAMPLE
export AWS_SECRET_ACCESS_KEY=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
ecs-task-runner run --force-ecr my-ecr/image

使用私有仓库

console
export AWS_ACCESS_KEY_ID=AKIAIOSFODNN7EXAMPLE
export AWS_SECRET_ACCESS_KEY=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
export PRIVATE_REGISTRY_USER=user
export PRIVATE_REGISTRY_PASSWORD=password
ecs-task-runner run sample/secret

使用Docker容器运行

console
export AWS_ACCESS_KEY_ID=AKIAIOSFODNN7EXAMPLE
export AWS_SECRET_ACCESS_KEY=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
docker run --rm -e AWS_ACCESS_KEY_ID -e AWS_SECRET_ACCESS_KEY docker.xuanyuan.run/pottava/ecs-task-runner sample/image

故障排除

若命令返回非零退出码，可使用--extended-output参数获取元数据以分析失败原因：

console
export AWS_ACCESS_KEY_ID=AKIAIOSFODNN7EXAMPLE
export AWS_SECRET_ACCESS_KEY=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
ecs-task-runner run sample/image --extended-output