mochoa/s3fs-volume-plugin

S3Fs Volume Plugin

镜像概述和主要用途

S3Fs Volume Plugin是一个托管Docker卷插件，用于让Docker容器访问S3Fs卷。无需在主机上安装S3Fs客户端，所有管理均在插件内部完成，简化了容器与S3兼容存储服务的集成流程。

注意事项

• 要求Docker最低版本为18.03-1。
• 仅支持托管插件，不提供传统支持。
• 为正确支持版本，安装插件时需使用--alias。
• 每个实例仅支持一个S3Fs集群，使用--alias可定义单独实例。
• AWSACCESSKEYID/AWSSECRETACCESSKEY初始值为空，需通过docker plugin s3fs set AWSACCESSKEYID=key;docker plugin s3fs set AWSSECRETACCESSKEY=secret设置。若已设置，将用于所有存储桶，且不允许低级选项，主要用于控制已部署栈的操作权限。
• 无健壮错误处理，输入错误将导致输出错误。

操作模式

以下三种操作模式互斥，若在docker volume create时配置多个模式将导致错误，按优先级排序如下：

仅使用名称（推荐）

这是生产系统的推荐方式，可防止栈指定任意服务器，且避免栈配置文件包含环境特定密钥，将密钥管理推迟到节点级别的插件。此模式依赖已配置的AWSACCESSKEYID/AWSSECRETACCESSKEY，并使用通过docker plugin set设置的名称作为卷挂载。自动化配置步骤如下：

bash
docker plugin install --alias PLUGINALIAS \
  mochoa/s3fs-volume-plugin \
  --grant-all-permissions --disable
docker plugin set PLUGINALIAS AWSACCESSKEYID=key
docker plugin set PLUGINALIAS AWSSECRETACCESSKEY=secret
docker plugin enable PLUGINALIAS

若需使用不同密钥集，应创建具有不同别名和密钥集的单独插件实例。

docker-compose.yml示例：

yaml
volumes:
  sample:
    driver: s3fs
    name: "bucket/subdir"

volumes.x.name指定存储桶及可选子目录挂载，其值将作为s3fs fuse挂载中的-o bucket=和-o servicepath=。注意volumes.x.name不得以/开头。

指定s3fs驱动选项

通过driver_opts.s3fsopts定义逗号分隔的s3fs选项列表，卷指定规则与上一节相同。

假设别名为s3fs的docker-compose.yml示例：

yaml
volumes:
  sample:
    driver: s3fs
    driver_opts:
      s3fsopts: nomultipart,use_path_request_style
    name: "bucket/subdir"

volumes.x.name指定存储桶及可选子目录挂载，其值作为-o bucket=和-o servicepath=。注意volumes.x.name不得以/开头。上述配置对应以下挂载命令：

bash
s3fs -o nomultipart,use_path_request_style,bucket=bucket,servicepath=subdir [generated_mount_point]

指定选项

将driver_opts.s3fsopts传递给s3fs命令，后跟生成的挂载点。这是最灵活的方式，支持S3Fs FUSE客户端的所有选项。

假设别名为s3fs的docker-compose.yml示例：

yaml
volumes:
  sample:
    driver: s3fs
    driver_opts:
      s3fsopts: "nomultipart,use_path_request_style"
    name: "bucket_name/subdir"

name值用于提取存储桶和子目录信息，并附加到driver_opts.s3fsopts的连接信息中。上述示例将转换为s3fs fuse命令选项：

bash
-o "nomultipart,use_path_request_style,bucket=bucket_name:/subdir"

测试示例

在Swarm外测试

以下示例演示在Swarm外挂载和测试存储，假设服务器名为store1，卷名为mybucket：

bash
docker plugin install mochoa/s3fs-volume-plugin --alias s3fs --grant-all-permissions --disable
docker plugin set s3fs AWSACCESSKEYID=key
docker plugin set s3fs AWSSECRETACCESSKEY=secret
docker plugin set s3fs DEFAULT_S3FSOPTS="nomultipart,use_path_request_style"
docker plugin enable s3fs
docker volume create -d s3fs mybucket
docker run --rm -it -v mybucket:/mnt alpine

Oracle Cloud Object Storage测试

S3兼容模式下的Oracle对象存储使用示例，需将tenant_id和region_id替换为实际值：

bash
docker plugin install mochoa/s3fs-volume-plugin --alias s3fs --grant-all-permissions --disable
docker plugin set s3fs AWSACCESSKEYID=key
docker plugin set s3fs AWSSECRETACCESSKEY=secret
docker plugin set s3fs DEFAULT_S3FSOPTS="nomultipart,use_path_request_style,url=https://[tenant_id].compat.objectstorage.[region-id].oraclecloud.com/"
docker plugin enable s3fs
docker volume create -d s3fs mybucket
docker run -it -v mybucket:/mnt alpine

Linode Object Storage测试

Linode对象存储使用示例：

bash
docker plugin install mochoa/s3fs-volume-plugin --alias s3fs --grant-all-permissions --disable
docker plugin set s3fs AWSACCESSKEYID=key
docker plugin set s3fs AWSSECRETACCESSKEY=secret
docker plugin set s3fs DEFAULT_S3FSOPTS="url=https://us-southeast-1.linodeobjects.com/"
docker plugin enable s3fs
docker volume create -d s3fs mybucket
docker run -it -v mybucket:/mnt alpine

注意：Linode对象存储需要2021年10月26日及以后构建的s3fs-volume-plugin，因需Ubuntu更新的ca-certificate包以正确处理Linode云使用的LetsEncrypt证书。

Swarm集群所有节点快速部署

以下示例由https://github.com/vincentsijben%E6%8F%90%E4%BE%9B%EF%BC%8C%E5%9F%BA%E4%BA%8EBret Fisher的示例（https://github.com/BretFisher/dogvscat/blob/master/stack-re***.yml），演示如何使用Digital Ocean Spaces在所有Docker Swarm节点上快速部署S3Fs插件：

yaml
plugin-s3fs:
  image: mavenugo/swarm-exec:17.03.0-ce
  secrets:
    - aws_accesskey_id
    - aws_secret_accesskey
  environment:
    - AWSACCESSKEYID_FILE=/run/secrets/aws_accesskey_id
    - AWSSECRETACCESSKEY_FILE=/run/secrets/aws_secret_accesskey
  volumes:
    - /var/run/docker.sock:/var/run/docker.sock
  command: sh -c "docker plugin install --alias s3fs mochoa/s3fs-volume-plugin --grant-all-permissions --disable AWSACCESSKEYID=$$(cat $$AWSACCESSKEYID_FILE) AWSSECRETACCESSKEY=$$(cat $$AWSSECRETACCESSKEY_FILE) DEFAULT_S3FSOPTS='allow_other,uid=1000,gid=1000,url=[***] docker plugin enable s3fs"
  deploy:
    mode: global
    restart_policy:
      condition: none