mitchya1/ecs-config-retriever

ecs-config-retriever

镜像概述和主要用途

ecs-config-retriever是一个初始化应用，用于从AWS SSM参数存储或Hashi Vault检索配置信息并写入磁盘，供ECS任务中的长期运行容器使用。它解决了ECS无法像Kubernetes那样直接将秘密/配置挂载为文件的问题，通过将配置写入共享卷，实现多容器间的配置共享。

核心功能和特性

• 多源配置检索：支持从AWS SSM参数存储和Hashi Vault获取配置
• 灵活的参数指定方式：可通过命令行标志、环境变量或JSON字符串指定参数
• 参数处理能力：支持处理base64编码和加密的参数
• 多参数批量检索：通过JSON配置可同时获取多个参数
• 最小权限设计：仅需有限的IAM权限即可运行
• 安全运行：初始以root用户运行以处理文件权限，实际命令以非特权用户执行

使用场景和适用范围

• ECS任务中需要在多个容器间共享配置文件的场景
• 需要从SSM参数存储或Hashi Vault获取敏感配置的场景
• Fargate任务中需要初始化配置文件的场景
• 不希望将配置直接嵌入容器镜像的安全需求场景

使用方法和配置说明

命令行标志（Flags）

环境变量（Env Vars）

JSON参数格式

通过-json标志可指定多参数检索，JSON结构如下：

json
{
    "parameters": [
        {
            "name": "参数名称",
            "encoded": 是否base64编码（true/false）,
            "encrypted": 是否加密（true/false）,
            "path": 保存路径
        },
        {
            "name": "另一个参数名称",
            "encoded": true,
            "encrypted": false,
            "path": "/init-out/app/config.json"
        }
    ]
}

IAM权限

retriever需要最小化的IAM权限，以下是示例策略：

json
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "ssm:GetParameter",
            "Resource": "arn:aws:ssm:*:ACCOUNT_ID:parameter/retriever*"
        }
    ]
}

部署示例

ECS任务定义示例

以下是包含retriever初始化容器的ECS任务定义 JSON：

json
[
    {
        "command": ["cat", "/my-container/config/config.conf"],
        "cpu": 100,
        "essential": true,
        "environment": [
            {
                "name": "FOO",
                "value": "BAR"
            }
        ],  
        "mountPoints": [
            {
                "sourceVolume": "my-container-config",
                "containerPath": "/my-container/config"
            }
        ],
        "logConfiguration": {
            "logDriver": "awslogs",
            "options": {
                "awslogs-group": "my-container",
                "awslogs-region": "us-east-2",
                "awslogs-stream-prefix": "my-container"
            }
        },
        "volumesFrom": [],
        "image": "someimage:1.1.1",
        "memory": 100,
        "memoryReservation": 100,
        "name": "my-container",
        "dependsOn": [
            {
                "condition": "SUCCESS",
                "containerName": "my-container-init"
            }
        ],
        "privileged": false,
        "startTimeout": 60,
        "stopTimeout": 30
    },
    {
        "command": ["/retriever", "-parameter=retriever-test", "-path=/init-out/config.conf", "-encoded"],
        "cpu": 100,
        "essential": false,
        "environment": [
            {
                "name": "AWS_REGION",
                "value": "us-east-2"
            }
        ],  
        "mountPoints": [
            {
                "sourceVolume": "my-container-config",
                "containerPath": "/init-out"
            }
        ],
        "portMappings": [],
        "volumesFrom": [],
        "logConfiguration": {
            "logDriver": "awslogs",
            "options": {
                "awslogs-group": "my-container",
                "awslogs-region": "us-east-2",
                "awslogs-stream-prefix": "init"
            }
        },
        "image": "mitchya1/ecs-config-retriever:v0.5.0",
        "memory": 100,
        "memoryReservation": 50,
        "name": "my-container-init",
        "privileged": false,
        "startTimeout": 30,
        "stopTimeout": 60
    }
]

注意：不要更改retriever容器的containerPath，否则会导致文件写入权限错误。

相关链接

• https://docs.aws.amazon.com/AmazonECS/latest/developerguide/fargate-task-storage.html

注意事项

• 容器初始以root用户运行，以便对/init-out目录进行权限设置
• 实际执行的命令以非特权用户retriever运行，确保安全性
• 使用Vault时，如配置了AWS IAM认证，可不提供VAULT_TOKEN