gthill77/s3cmd-docker

致谢

本仓库本质上是https://github.com/hochzehn/s3cmd-docker%E5%92%8Chttps://github.com/sekka1/docker-s3cmd%E7%9A%84%E5%A4%8D%E5%88%BB%EF%BC%8C%E4%BD%86%E5%85%81%E8%AE%B8%E6%8C%87%E5%AE%9A%E9%BB%98%E8%AE%A4AWS%E4%B8%BB%E6%9C%BA%E4%BB%A5%E5%A4%96%E7%9A%84%E5%85%B6%E4%BB%96%E4%B8%BB%E6%9C%BA%EF%BC%88%E4%BE%8B%E5%A6%82%E4%B8%8ES3%E5%85%BC%E5%AE%B9%E7%9A%84DigitalOcean Spaces）。

描述

• 包含s3cmd支持的Docker容器，拉取并运行此镜像可在S3主机与本地机器之间上传/下载文件。
• 同时支持部署为Kubernetes Pod及IAM认证。

注意：如果您的访问通过AWS IAM配置，则无需传递以下环境变量：

bash
--env access_key=${ACCESS_KEY} 
--env secret_key=${SECRET_KEY}

如果未传递但IAM配置不正确，任务将失败。

从本地同步到S3

docker run --rm \
  --env access_key=${ACCESS_KEY} \
  --env secret_key=${SECRET_KEY} \
  --env s3_host_base=${HOST} \
  --env s3_host_bucket_template=${HOST_BUCKET_TEMPLATE} \
  --env cmd=sync-local-to-s3 \
  --env DEST_S3=${BUCKET} \
  -v ${LOCAL_FILE}:/opt/src \
  gthill77/s3cmd-docker

从S3同步到本地

docker run --rm \
  --env access_key=${ACCESS_KEY} \
  --env secret_key=${SECRET_KEY} \
  --env s3_host_base=${HOST} \
  --env s3_host_bucket_template=${HOST_BUCKET_TEMPLATE} \
  --env cmd=sync-s3-to-local \
  --env SRC_S3=${BUCKET} \
  -v ${LOCAL_PATH}:/opt/dest \
  gthill77/s3cmd-docker

可选参数

• 如果希望按指定间隔定期运行，可添加以下环境变量：
  • 注意：如果未指定间隔，则仅执行一次后退出。

bash
--env interval=${SECONDS}

环境变量示例

• AWS

bash
HOST = s3.amazonaws.com
HOST_BUCKET_TEMPLATE = "%(bucket)s.s3.amazonaws.com"

• DigitalOcean

bash
HOST = nyc3.digitaloceanspaces.com
HOST_BUCKET_TEMPLATE = "%(bucket)s.nyc3.digitaloceanspaces.com"

Kubernetes支持

您也可以在Kubernetes Pod中运行此镜像，示例如下：

yaml
apiVersion: v1
kind: Pod
metadata:
  name: s3cmd
  labels:
    name: s3cmd
spec:
  restartPolicy: Never
  containers:
  - name: s3cmd
    image: gthill77/s3cmd-docker:latest
    imagePullPolicy: Always
    volumeMounts:
    - readOnly: false
      mountPath: /opt/dest
      name: data
    env:
      - name: s3_host_base
        value: s3.amazonaws.com
      - name: s3_host_bucket_template
        value: "%(bucket)s.s3.amazonaws.com"
      - name: cmd
        value: sync-s3-to-local
      - name: SRC_S3
        value: s3://${BUCKET}/${PATH}
      # 可选：如果希望设置重复执行的间隔（秒）
      - name: interval
        value: '10'
  volumes:
    - name: data
      hostPath:
        path: /data
        type: DirectoryOrCreate

kube2iam支持

如果您的集群中已配置并安装kube2iam，可以在元数据中添加IAM角色：

yaml
annotations:
    iam.amazonaws.com/role: ${IAM_ROLE}

更多关于kube2iam的信息请查看https://github.com/jtblin/kube2iam