mediacloudai/aws_cli_worker

AWS CLI Worker镜像

镜像概述

该镜像作为Media Cloud AI平台的工作节点组件，基于AWS CLI v2构建，通过连接RabbitMQ接收任务消息，执行AWS服务相关命令，实现平台与AWS云服务的交互。更多平台信息可查看Media Cloud AI文档。

核心功能

1. 集成AWS CLI v2，支持执行各类AWS服务命令（如S3文件操作）；
2. 连接RabbitMQ监听任务消息，根据消息内容执行指定操作；
3. 支持单AWS凭证配置和多AWS凭证配置（通过多profile管理）；
4. 提供Makefile工具简化镜像构建、推送等操作；
5. 适配Gitlab CI流水线，支持自动化镜像发布。

使用场景

• Media Cloud AI平台内需要与AWS服务交互的任务处理（如S3文件上传/下载、资源创建等）；
• 需要通过消息队列触发AWS命令执行的自动化场景；
• 多AWS账号凭证管理下的批量操作场景。

配置说明

基础依赖

需安装Docker 19.03.5+版本。

Makefile操作

常用命令

变量配置

AWS凭证配置

• 单凭证模式：设置以下环境变量

  变量名	描述
  AWS_ACCESS_KEY_ID	AWS访问密钥ID
  AWS_SECRET_ACCESS_KEY	AWS秘密访问密钥

• 多凭证模式：使用AWS_PROFILES_CREDENTIALS变量，格式为：
  profile名称;访问密钥ID;秘密访问密钥;区域#profile名称;访问密钥ID;秘密访问密钥;区域...
  示例：prod;AKIAXXX;SKXXX;us-east-1#test;AKIAYYY;SKYYY;eu-west-1
  使用时通过aws --profile profile名称指定profile执行命令。

注意：AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY会覆盖配置文件中profile的凭证值（来源：AWS CLI文档）。

AMQP连接配置

RabbitMQ连接相关变量参考https://github.com/media-cloud-ai/rs_amqp_worker%E9%A1%B9%E7%9B%AE%E3%80%82

Docker操作示例

bash
# 登录镜像仓库
make docker-registry-login DOCKER_REGISTRY_LOGIN=mylogin DOCKER_REGISTRY_PWD=mypassword

# 构建镜像
make docker-build

# 推送镜像到仓库
make docker-push-registry

Gitlab CI支持

提供.gitlab-ci.yml文件，需在仓库中配置DOCKER_REGISTRY_LOGIN和DOCKER_REGISTRY_PWD环境变量以启用自动化流水线。

任务消息格式

Worker接收的消息需符合以下JSON格式（示例为S3文件复制任务）：

json
{
  "parameters": [
    {
      "value": "aws s3 cp s3://mybucket/{element_filename} {target_filename}",
      "type": "string",
      "id": "command_template"
    },
    {
      "value": "media.mp4",
      "type": "string",
      "id": "element_filename"
    },
    {
      "value": "/data/media_target.mp4",
      "type": "string",
      "id": "target_filename"
    }
  ],
  "job_id": 123
}

该消息指示Worker将AWS S3桶mybucket中的media.mp4文件复制到本地/data目录，并重命名为media_target.mp4。