wetopi/rbd

Docker RBD卷插件

Docker Engine管理的RBD卷插件，用于管理Ceph RBD卷。该插件基于Docker Engine插件系统运行，详情见https://docs.docker.com/engine/extend/%E3%80%82

前置条件

1. Docker >=1.13.1（推荐版本）
2. 已部署的Ceph集群

为何选择此插件？

1. 支持Docker v2插件标准
2. 除Ceph外无其他外部服务依赖

使用该卷驱动

1. 驱动配置选项

conf
LOG_LEVEL=[0:错误级别;1:警告级别;2:信息级别;3:调试级别] 默认值0
RBD_CONF_DEVICE_MAP_ROOT="/dev/rbd"
RBD_CONF_POOL="ssd"
RBD_CONF_CLUSTER=ceph
RBD_CONF_KEYRING_USER=client.admin
RBD_CONF_NAMESPACE=""

挂载选项默认值为"--options=noatime"（扩展语法，无空格）
MOUNT_OPTIONS="--options=noatime"

VOLUME_FSTYPE="ext4"
VOLUME_MKFS_OPTIONS="-O mmp"
VOLUME_SIZE="512"
VOLUME_ORDER="22"

2. 安装插件

通过plugin install命令传递配置参数修改默认值：

bash
docker plugin install wetopi/rbd \
  --alias=wetopi/rbd \
  LOG_LEVEL=1 \
  RBD_CONF_POOL="ssd" \
  RBD_CONF_CLUSTER=ceph \
  RBD_CONF_KEYRING_USER=client.admin

重要：确保rbd内核模块在启动时加载：

bash
echo "rbd" >> /etc/modules

3. 创建和使用卷

可用卷驱动选项

conf
fstype: 可选，默认值为配置中的VOLUME_FSTYPE（ext4）
mkfsOptions: 可选，默认值为VOLUME_MKFS_OPTIONS（-O mmp，多挂载保护）
mountOptions: 可选，默认值为MOUNT_OPTIONS（--options=noatime）
size: 可选，默认值为VOLUME_SIZE（512MB）
order: 可选，默认值为VOLUME_ORDER（22，对应4KB对象）

3.A 创建卷

参考https://docs.docker.com/engine/reference/commandline/volume_create/%EF%BC%9A

sh
docker volume create -d wetopi/rbd -o size=206 my_rbd_volume

docker volume ls
DRIVER              VOLUME NAME
local               ...（本地卷列表）
wetopi/rbd          my_rbd_volume

3.B 使用已创建卷运行容器

bash
docker run -it -v my_rbd_volume:/data --volume-driver=wetopi/rbd docker.xuanyuan.run/busybox sh

3.C 使用***卷运行容器

bash
docker run -it -v $(docker docker.xuanyuan.run/volume create -d wetopi/rbd -o size=206):/data --volume-driver=wetopi/rbd busybox sh

注意：Docker 1.13.1版本不支持在docker run或docker create中传递卷选项。

3.D 服务使用已创建卷

bash
docker service create --replicas=1 \
  --mount type=volume,source=my_rbd_volume,destination=/var/lib/mysql,volume-driver=wetopi/rbd \
  mariadb:latest

3.E 服务使用***卷

bash
docker service create --replicas=1 \
  -e MYSQL_ROOT_PASSWORD=my-secret-pw \
  --mount type=volume,destination=/var/lib/mysql,volume-driver=wetopi/rbd,volume-opt=size=512 \
  mariadb:latest

4. 升级插件

4.1 无版本标签升级

bash
docker plugin disable -f wetopi/rbd
docker plugin upgrade wetopi/rbd

可选：更新配置：

bash
docker plugin set wetopi/rbd \
  LOG_LEVEL=2 \
  RBD_CONF_POOL="ssd" \
  RBD_CONF_KEYRING_USER=client.admin

启用插件：

bash
docker plugin enable wetopi/rbd

已知问题

1. 场景：删除插件后重新安装 → 结果：插件节点上运行的容器丢失卷
   解决方案：重启节点（Swarm会将容器迁移到其他节点，重启释放RBD映射和挂载镜像）。

2. 场景：使用RBD命名空间范围内的客户端 → 结果：无法创建卷
   解决方案：修改客户端权限以允许读取默认命名空间的rbd_info对象：

   bash
   

ceph auth caps client.docker-rbd mon 'allow profile rbd' osd 'allow r pool rbd object_prefix rbd_info, profile rbd pool=rbd namespace=testns'

## 故障排查
### 检查插件是否启用
```bash
docker plugin ls
ID                  NAME                DESCRIPTION               ENABLED
fff19fa9a622        wetopi/rbd:latest   RBD plugin for Docker     true

进入插件容器交互终端

查找完整ID：

bash
docker-runc list | grep fff19fa9a622

执行交互shell：

bash
docker-runc exec -t [完整插件ID] bash

查看驱动日志

若容器未运行或重启，检查Docker引擎日志：

bash
tail -f /var/log/upstart/docker  # Upstart系统
journalctl -f -u docker.service  # Systemd系统

使用curl调试插件socket问题

验证插件API socket响应：

bash
curl -H "Content-Type: application/json" -XPOST -d '{}' --unix-socket /var/run/docker/plugins/[插件ID]/rbd.sock http:/VolumeDriver.List

变更日志

v4.1.0

• 新增：支持RBD命名空间
• 修改：将卷默认值移至配置
• 更新：go-ceph库至0.26（支持Pacific、Quincy、Reef版本）
• 更新：依赖库至次要/补丁版本

v4.0.0

• 修改：升级至Ceph Pacific版本

v3.0.1

• 修改：添加CAP_NET_ADMIN权限，支持Ubuntu 20.04.2及新内核创建卷

v3.0.0

• 新增：支持Ceph Nautilus版本

v2.0.1

• 修复：向rbd调用传递集群名称

v2.0.0

• 新增：mkfs支持选项（默认"-O mmp"）
• 新增：挂载支持选项（默认"--options=noatime"）
• 修改：RBD watchers不再阻止镜像挂载

v1.0.0

• 移除Consul依赖
• 新增RBD advisory锁

开发说明

构建并发布插件：

bash
make all

依赖管理

使用go mod维护vendor目录：

• 更新所有依赖至最新次要/补丁版本：go get -u
• 清理依赖：go mod tidy

致谢

• https://github.com/docker/go-plugins-helpers
• https://github.com/yp-engineering/rbd-docker-plugin

许可证

MIT