namshi/s3-sidecar

s3-sidecar 镜像文档

镜像概述

s3-sidecar是一个辅助容器，主要功能是从Amazon S3存储桶下载压缩文件，并将其提取到本地/data目录。该目录设计为可与其他容器共享的卷，便于在多容器环境中实现文件共享和同步更新。

核心功能与特性

• S3文件下载：通过AWS凭证访问S3存储桶，下载指定压缩文件
• 自动提取：将下载的压缩文件自动提取到/data目录
• 共享卷支持：/data目录可作为共享卷，供其他容器访问提取后的文件
• 更新检查机制：每3秒循环检查文件更新，仅在文件变化时执行下载和提取
• 缓存管理：生成标记文件记录当前提取的文件名，创建/update.lock锁文件供其他容器清理缓存

使用场景

• 前端应用静态资源（如JS、CSS、图片）的定期更新与共享
• 配置文件或数据文件的跨容器同步
• 需要从S3获取最新资源的多容器服务架构
• 自动化部署流程中依赖文件的获取与分发

使用方法与配置说明

环境变量配置

使用s3-sidecar容器需配置以下环境变量：

构建与运行

使用docker-compose

1. 创建docker-compose.yml文件：

yaml
version: '3'
services:
  s3-sidecar:
    build: .
    environment:
      - AWS_ACCESS_KEY_ID=AKIAEXAMPLE123456789
      - AWS_SECRET_ACCESS_KEY=abcdefghijklmnopqrstuvw
      - AWS_DEFAULT_REGION=us-east-1
      - AWS_BUCKET=my-app-bucket
      - CONFIG_PATH=/config/latest.txt
    volumes:
      - shared-data:/data

volumes:
  shared-data:

2. 构建容器：

bash
docker-compose build

3. 运行容器：

bash
docker-compose up

使用docker run

bash
docker run -d \
  -e AWS_ACCESS_KEY_ID=AKIAEXAMPLE123456789 \
  -e AWS_SECRET_ACCESS_KEY=abcdefghijklmnopqrstuvw \
  -e AWS_DEFAULT_REGION=us-east-1 \
  -e AWS_BUCKET=my-app-bucket \
  -e CONFIG_PATH=/config/latest.txt \
  -v shared-data:/data \
  s3-sidecar

工作原理

容器启动后，将执行以下流程：

1. 启动一个每3秒循环的脚本
2. 从CONFIG_PATH中提取待下载文件名（取路径中最后一部分）
3. 检查/data/{文件名}文件内容是否与待下载文件名相同：
   • 若不同：从S3下载该压缩文件，提取到/data目录，更新/data/{文件名}内容为当前下载的文件名，并创建/data/update.lock锁文件
   • 若相同：不执行任何操作（避免重复下载和提取）

/data/update.lock锁文件可被其他容器监控，用于触发缓存清理或服务重启等操作。