embercsi/ember-csi

Ember CSI

![PyPi]([] ![PyVersion]([] ![License]([***]

镜像概述和主要用途

Ember CSI是一款多厂商CSI（容器存储接口）插件驱动，通过单一插件支持超过80种存储驱动，为Kubernetes等容器编排系统提供块存储（block）和挂载存储（mount）服务。该驱动兼容最新CSI规范，包括快照等新特性，旨在简化容器环境中的存储管理，实现存储资源的动态供给与生命周期管理。

核心功能和特性

Ember CSI支持CSI规范的最新特性，包括：

• 创建块卷
• 创建快照
• 从快照创建块卷
• 删除块卷
• 删除快照
• 带分页的卷列表查询
• 带分页的快照列表查询
• 卷附加（Attach）
• 卷分离（Detach）
• 存储容量报告
• 节点探测（Probe）
• 插件信息检索

运行依赖

基础依赖

驱动要求系统已安装Cinder v11.0（OSP-12/Pike），可通过以下方式安装：

• OSP仓库
• RDO仓库
• GitHub
• 其他第三方仓库

通过PyPi安装ember-csi时，其他基础依赖会自动处理。

后端特定依赖

部分存储驱动需额外依赖以确保正常运行，例如：

控制器服务依赖

• DRBD：dbus 和 drbdmanage
• HPE 3PAR：python-3parclient
• Kaminario：krest
• Pure：purestorage
• Dell EMC VMAX、IBM DS8K：pyOpenSSL
• HPE Lefthand：python-lefthandclient
• Fujitsu Eternus DX：pywbem
• IBM XIV：pyxcli
• RBD：rados 和 rbd
• Dell EMC VNX：storops
• Violin：vmemclient
• INFINIDAT：infinisdk、capacity、infy.dtypes.wwn、infi.dtypes.iqn

节点服务依赖

节点服务需根据存储访问方式安装相应依赖：

• iSCSI：iscsi-initiator-tools 和 device-mapper-multipath
• RBD/Ceph：ceph-common 包

安装

安装Cinder

以CentOS系统为例，从RDO仓库安装Cinder：

bash
$ sudo yum install -y centos-release-openstack-pike
$ sudo yum install -y openstack-cinder python-pip

安装ember-csi

bash
$ sudo pip install ember-csi

安装后端依赖

根据存储类型安装额外依赖，例如iSCSI后端：

bash
$ sudo yum install iscsi-initiator-utils
$ sudo yum install device-mapper-multipath
$ sudo mpathconf --enable --with_multipathd y --user_friendly_names n --find_multipaths y

RBD后端需额外安装：

bash
$ sudo yum install ceph-common

配置

Ember CSI通过环境变量配置，无默认值的变量为必填项。

注意事项

• 目前仅测试了默认角色（CSI_MODE=all，控制器和节点服务在同一进程运行），其他模式可能存在问题。
• X_CSI_SYSTEM_FILES需指向驱动文件系统中可访问的归档文件，内容将解压至/。需由管理员创建该归档，例如：

  bash
  $ tar cvf ceph-files.tar /etc/ceph/ceph.conf /etc/ceph/ceph.client.cinder.keyring
  tar: Removing leading `/' from member names
  /etc/ceph/ceph.conf
  /etc/ceph/ceph.client.cinder.keyring
  $ export X_CSI_SYSTEM_FILES=`pwd`/ceph-files.tar
  

启动插件

安装依赖后，使用具有无密码sudo权限的用户运行：

bash
$ ember-csi

测试插件

项目examples目录提供裸金属和容器化部署的测试示例，默认服务端口为50051。

裸金属测试

以LVM驱动为例：

bash
$ cd tmp
$ sudo dd if=/dev/zero of=ember-volumes bs=1048576 seek=22527 count=1
$ lodevice=`sudo losetup --show -f ./ember-volumes`
$ sudo pvcreate $lodevice
$ sudo vgcreate ember-volumes $lodevice
$ sudo vgscan --cache
$ cd ../examples/baremetal
$ ./run.sh lvm

RBD驱动测试（需将Ceph配置和密钥文件置于/etc/ceph）：

bash
$ cd examples/baremetal
$ ./run.sh rbd

容器化测试

项目提供Dockerfile用于构建容器镜像（如akrog/ember-csi）。容器需以特权模式运行以挂载卷，例如RBD示例：

bash
$ cd examples/docker
$ ./rbd.sh

使用CSC工具测试

通过https://github.com/re***/gocsi/tree/master/csc%E6%A8%A1%E6%8B%9F%E5%AE%B9%E5%99%A8%E7%BC%96%E6%8E%92%E7%B3%BB%E7%BB%9F%E6%93%8D%E4%BD%9C%EF%BC%9A

查看插件信息

bash
$ csc identity plugin-info -e tcp://127.0.0.1:50051

创建卷

bash
$ csc controller create-volume --cap SINGLE_NODE_WRITER,block --req-bytes 2147483648 disk -e tcp://127.0.0.1:50051

附加卷（裸金属）

bash
$ touch tmp/mnt/{staging,publish}
$ vol_id=`csc controller list-volumes -e tcp://127.0.0.1:50051|awk '{ print gensub("\"","","g",$1)}'`
$ csc controller publish --cap SINGLE_NODE_WRITER,block --node-id `hostname -f` $vol_id -e tcp://127.0.0.1:50051
$ csc node stage --pub-info connection_info="irrelevant" --cap SINGLE_NODE_WRITER,block --staging-target-path `realpath tmp/mnt/staging` $vol_id -e tcp://127.0.0.1:50051
$ csc node publish --cap SINGLE_NODE_WRITER,block --pub-info connection_info="irrelevant" --staging-target-path `realpath tmp/mnt/staging` --target-path `realpath tmp/mnt/publish` $vol_id -e tcp://127.0.0.1:50051

分离卷

bash
$ csc node unpublish --target-path `realpath tmp/mnt/publish` $vol_id -e tcp://127.0.0.1:50051
$ csc node unstage --staging-target-path `realpath tmp/mnt/staging` $vol_id -e tcp://127.0.0.1:50051
$ csc controller unpublish --node-id `hostname -f` $vol_id -e tcp://127.0.0.1:50051

删除卷

bash
$ csc controller delete-volume $vol_id -e tcp://127.0.0.1:50051

操作模式

目前仅支持SINGLE_NODE_WRITER访问模式，对SINGLE_NODE_READER_ONLY模式会以读写方式挂载。

调试

日志配置

通过X_CSI_EMBER_CONFIG环境变量启用日志，默认INFO级别，设置debug: true可开启DEBUG级别：

bash
export X_CSI_EMBER_CONFIG={"project_id":"io.ember-csi","user_id":"io.ember-csi","root_helper":"sudo","plugin_name": "io.ember-csi","disable_logs":false,"debug":true}

调试模式

支持pdb（标准输入输出调试）和rpdb（4444端口远程调试），通过X_CSI_DEBUG_MODE启用：

bash
export X_CSI_DEBUG_MODE=rpdb

启动后通过SIGUSR1信号切换调试状态：

bash
# 裸金属
$ pkill -USR1 ember-csi

# 容器（假设容器名为ember-csi）
$ docker kill --signal=USR1 ember-csi

调试开启后，下次GRPC请求会触发断点（rpdb会监听127.0.0.1:4444）。