xueshanf/s3fs

镜像概述

本镜像为s3fs工具的Docker容器化版本，基于s3fs 1.83构建。s3fs是一款FUSE（用户空间文件系统）工具，可将AWS S3存储桶挂载为本地文件系统，让用户能够像操作本地文件一样访问S3中的数据。

核心功能

1. 支持Docker 1.10及以上版本的共享挂载功能，实现S3存储与主机文件系统的持久化映射
2. 兼容Docker 1.10以下版本的使用场景，可通过容器内操作访问S3数据
3. 支持IAM角色认证和凭证文件认证两种方式
4. 提供systemd服务和docker-compose两种部署方式，适配不同环境需求

使用场景

• 需要将S3存储作为本地文件系统访问的应用场景
• 跨容器共享S3数据资源的场景
• 对S3数据进行批量复制、移动等操作的场景

配置说明

Docker 1.10及以上版本

Docker 1.10新增共享主机挂载命名空间功能，可通过共享挂载将S3存储映射到主机文件系统。

前提条件

1. Docker引擎版本≥1.10.x
2. 若Docker由systemd管理，需移除MountFlags=slave配置：

   bash
   cp /usr/lib/systemd/system/docker.service /etc/systemd/system/
   sed -i 's/MountFlags=slave/#MountFlags=slave/' /etc/systemd/system/docker.service
   systemctl daemon-reload
   systemctl restart docker.service
   

3. 在主机创建共享挂载点：

   bash
   mkdir /mnt/mydata
   mount --bind /mnt/mydata /mnt/mydata
   mount --make-shared /mnt/mydata
   findmnt -o TARGET,PROPAGATION /mnt/mydata # 验证传播属性为shared
   

4. 创建AWS凭证文件（或使用IAM角色）：

   bash
   echo "<accessId>:<accessSecret>" > /root/.s3fs
   chmod 400 /root/.s3fs
   

部署方式

作为systemd服务

创建/etc/systemd/system/s3fs.service文件：

ini
[Unit]
Description=S3fs Service

[Service]
ExecStartPre=-/usr/bin/docker kill %n
ExecStartPre=-/usr/bin/docker rm %n
ExecStart=/usr/bin/docker run --rm --name %n -v /root/.s3fs:/root/.s3fs --security-opt apparmor:unconfined --cap-add mknod --cap-add sys_admin --device=/dev/fuse -v /mnt/mydata:/mnt/mydata:shared xueshanf/s3fs /usr/bin/s3fs -f -o allow_other -o use_cache=/tmp -o passwd_file=/root/.s3fs <bucket> /mnt/mydata
TimeoutStartSec=5min
ExecStop=-/usr/bin/docker stop %n
RestartSec=5
Restart=always

启动服务：

bash
systemctl start s3fs.service

使用docker-compose

1. 安装docker-compose
2. 创建docker-compose.yml（需替换AWS凭证和桶名）：

   yaml
   version: '3'
   services:
     s3fs:
       image: xueshanf/s3fs
       cap_add: [mknod, sys_admin]
       devices: [/dev/fuse]
       volumes:
         - /root/.s3fs:/root/.s3fs
         - /mnt/mydata:/mnt/mydata:shared
       command: /usr/bin/s3fs -f -o allow_other -o use_cache=/tmp -o passwd_file=/root/.s3fs <S3_BUCKET_NAME> /mnt/mydata
       security_opt: [apparmor:unconfined]
   

3. 启动容器：

   bash
   docker-compose up -d
   

Docker 1.10以下版本

旧版本Docker不支持共享挂载，但可通过容器内操作访问S3数据。

运行方式

1. 使用IAM角色认证：

   bash
   docker run --rm --name s3fs-container --cap-add mknod --cap-add sys_admin --device=/dev/fuse xueshanf/s3fs /usr/bin/s3fs -o allow_other -o use_cache=/tmp -o iam_role=<role name> <bucket> /mnt/mydata
   

2. 使用IAM用户凭证：

   bash
   echo "<accessId>:<accessSecret>" > /root/.s3fs
   chmod 400 /root/.s3fs
   docker run -v /root/.s3fs:/root/.s3fs --name s3fs-container --rm --cap-add mknod --cap-add sys_admin --device=/dev/fuse xueshanf/s3fs /usr/bin/s3fs -o allow_other -o use_cache=/tmp -o passwd_file=/root/.s3fs <bucket> /mnt/mydata
   

数据操作示例

在另一个终端执行：

bash
# 列出S3桶内文件
docker exec s3fs-container ls /mnt/mydata
# 复制文件到主机
docker exec s3fs-container cat /mnt/mydata/file1 > /tmp/file1

注意事项

• 运行容器时需添加必要权限：--cap-add mknod --cap-add sys_admin --device=/dev/fuse
• 避免使用--privileged模式，除非必要
• 若S3桶内文件由其他工具创建，可能出现权限显示异常，可在主机挂载点修正权限
• 不要在桶名中包含s3://，否则会导致挂载失败