hammerspaceinc/csi-plugin

Hammerspace CSI卷插件

镜像概述和主要用途

Hammerspace CSI卷插件使用Hammerspace后端作为容器的分布式数据存储。该插件支持https://github.com/container-storage-interface/spec/blob/master/spec.md%E8%A7%84%E8%8C%83%EF%BC%8C%E9%80%9A%E8%BF%87%E5%8D%95%E4%B8%AAGolang%E4%BA%8C%E8%BF%9B%E5%88%B6%E6%96%87%E4%BB%B6%E5%AE%9E%E7%8E%B0Identity%E3%80%81Node%E5%92%8CController%E6%8E%A5%E5%8F%A3%EF%BC%8C%E4%B8%BA%E5%AE%B9%E5%99%A8%E6%8F%90%E4%BE%9B%E5%8F%AF%E9%9D%A0%E7%9A%84%E5%AD%98%E5%82%A8%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88%E3%80%82

核心功能和特性

支持的功能

• CREATE_DELETE_VOLUME（创建/删除卷）
• GET_CAPACITY（获取容量）
• CREATE_DELETE_SNAPSHOT（创建/删除快照）
• STAGE_UNSTAGE_VOLUME（挂载/卸载卷）
• GET_VOLUME_STATS（获取卷统计信息）
• LIST_VOLUMES（列出卷）
• EXPAND_VOLUME（扩容卷）
• LIST_SNAPSHOTS（列出快照）

不支持的功能

• CLONE_VOLUME（克隆卷）

卷类型

文件支持的块卷（原始设备）

• 存储以原始设备形式暴露给容器
• 存在于Hammerspace共享（后端共享）上的特殊设备文件中

文件支持的挂载卷（文件系统）

• 存储以目录形式暴露给容器
• 存在于Hammerspace共享（后端共享）上的特殊设备文件中，该文件包含文件系统

共享支持的挂载卷（共享文件系统）

• 存储以目录形式暴露给容器
• 存在为Hammerspace共享
• 通过NFS挂载

插件依赖

确保在Kubernetes主机上安装nfs-utils：

Ubuntu

bash
$ apt install nfs-common

CentOS

bash
$ yum install nfs-utils

插件容器必须以特权容器运行。

安装

Kubernetes特定部署说明位于https://github.com/hammer-space/csi-plugin/blob/master/deploy/kubernetes/README.md

配置

驱动的配置参数（作为环境变量传递给插件容器）：

* 必填

使用

CreateVolume请求支持的卷参数（对应Kubernetes存储类参数）

拓扑支持

当前仅支持 topology.csi.hammerspace.com/is-data-portal 键，值为'true'和'false'。

开发

要求

• Docker
• Golang 1.12+
• nfs-utils

构建

从本地源代码构建新Docker镜像：

bash
$ sudo make build

构建新版本：

更新VERSION文件，然后

bash
make build-release

发布新版本

bash
docker push hammerspaceinc/csi-plugin:$(cat VERSION)

测试

手动测试

可使用开发镜像进行手动测试。本地文件可暴露给容器，以便进行迭代开发和测试。

示例用法：

构建镜像 -

bash
make build-dev

创建插件和csi-sanity配置的ENV文件。

bash
echo "
CSI_ENDPOINT=/tmp/csi.sock
HS_ENDPOINT=https://anvil.example.com
HS_USERNAME=admin
HS_PASSWORD=admin
HS_TLS_VERIFY=false
CSI_NODE_NAME=test
SANITY_PARAMS_FILE=/tmp/csi_sanity_params.yaml
 " >  ~/csi-env

创建csi-sanity的参数文件（定义传递给CreateVolume的参数）

bash
echo "
blockBackingShareName: test-csi-block
deleteDelay: 0
objectives: "test-objective"
" > ~/csi_sanity_params.yaml

运行镜像 -

bash
docker run --privileged=true \
--cap-add ALL \
--cap-add CAP_SYS_ADMIN \
-v /tmp/:/tmp/:shared \
-v /dev/:/dev/ \
--env-file ~/csi-env \
-it \
-v ~/csi_sanity_params.yaml:/tmp/csi_sanity_params.yaml \
-v ~/csi-plugin:/csi-plugin/:shared \
--name=csi-dev \
hammerspaceinc/csi-plugin-dev

在开发镜像中运行CSI插件

bash
make compile # 重新编译
./bin/hs-csi-plugin

使用csc调用插件 -

bash
# 打开另一个shell进入开发容器
docker exec -it csi-dev /bin/sh

# 使用csc工具
## 调用GetPluginInfo 
CSI_DEBUG=true CSI_ENDPOINT=/tmp/csi.sock csc identity plugin-info

## 创建1GB文件支持的挂载卷
CSI_DEBUG=true CSI_ENDPOINT=/tmp/csi.sock csc controller create --cap 5,mount,ext4 --req-bytes 1073741824 --params mountBackingShareName=file-backed test-filesystem

## 删除卷
CSI_DEBUG=true CSI_ENDPOINT=/tmp/csi.sock csc controller delete  /file-backed/test-filesystem

## 探索更多命令
csc -h

运行单元测试

make unittest

运行Sanity测试

这些测试是功能性的，将在后端创建和删除卷。

主机必须能够连接到HS_ENDPOINT。可在开发镜像中运行。使用https://github.com/kubernetes-csi/csi-test/tree/master/cmd/csi-sanity%E3%80%82

创建参数文件

bash
echo "
fsType: nfs
blockBackingShareName: test-csi-block
deleteDelay: 0
objectives: "test-objective"
" > ~/csi_sanity_params.yaml

运行Sanity测试

bash
export CSI_ENDPOINT=/tmp/csi.sock
export HS_ENDPOINT="[***]"
export HS_USERNAME=admin
export HS_PASSWORD=admin
export HS_TLS_VERIFY=false
export CSI_NODE_NAME=test
export SANITY_PARAMS_FILE=~/csi_sanity_params.yaml
make sanity