maprtech/csi-kdfplugin

MapR Container Storage Interface (CSI) 存储插件

概述

MapR CSI存储插件是一个符合容器存储接口(CSI)规范的驱动程序，旨在实现Kubernetes等容器编排平台与MapR分布式存储系统的无缝集成。该插件允许容器化应用通过标准CSI接口访问MapR存储资源，提供持久化存储支持，适用于需要高可用性、可扩展性和数据持久性的容器化大数据应用场景。

核心功能与特性

1. 符合CSI规范

• 遵循CSI 1.0+规范，兼容主流容器编排平台（Kubernetes 1.14+）
• 支持CSI控制器服务（Controller Service）和节点服务（Node Service）

2. MapR存储集成

• 支持MapR分布式文件系统（MapR-FS）和MapR XD存储
• 兼容MapR卷（Volume）、快照（Snapshot）和克隆（Clone）功能
• 支持MapR POSIX客户端协议，提供类Unix文件系统接口

3. 存储管理能力

• 动态存储配置：通过StorageClass实现PVC的自动创建与绑定
• 静态存储配置：支持手动创建PV并关联MapR存储资源
• 存储生命周期管理：支持PV的创建、删除、扩容等操作

4. 高可用性与安全性

• 支持MapR集群高可用配置，确保存储服务连续性
• 集成MapR安全机制（如MapR tickets、SSL/TLS加密）
• 支持基于Kubernetes RBAC的访问控制

使用场景

1. 容器化大数据应用

• 部署Spark、Flink、Hadoop等大数据框架，利用MapR存储进行数据共享与持久化
• 支持需要高吞吐量、低延迟存储的分布式计算任务

2. 持久化微服务存储

• 为Kubernetes集群中的微服务提供持久化存储，确保应用重启后数据不丢失
• 适用于数据库应用（如PostgreSQL、MongoDB）的持久化数据存储

3. 多租户存储隔离

• 通过MapR存储的租户隔离能力，结合Kubernetes Namespace实现多租户数据隔离
• 支持基于StorageClass的存储资源配额管理

使用方法与配置说明

前置条件

• Kubernetes集群（1.14+），已配置RBAC
• 运行中的MapR集群（6.1+），且与Kubernetes集群网络互通
• MapR客户端软件包（mapr-client）已安装在Kubernetes节点
• 具备MapR集群管理员权限，用于配置存储资源

部署步骤

1. 准备MapR认证信息

创建包含MapR集群认证信息的Secret（如MapR ticket或用户名/密码）：

yaml
apiVersion: v1
kind: Secret
metadata:
  name: mapr-secret
  namespace: mapr-csi
type: Opaque
data:
  mapr-ticket: <base64-encoded-mapr-ticket>  # MapR ticket的base64编码
  # 或使用用户名密码认证
  # mapr-username: <base64-encoded-username>
  # mapr-password: <base64-encoded-password>

2. 部署CSI驱动

通过YAML清单部署MapR CSI驱动组件（控制器和节点插件）：

bash
kubectl apply -f https://raw.githubusercontent.com/mapr/csi-driver/master/deploy/kubernetes/mapr-csi.yaml

3. 创建StorageClass

定义StorageClass以配置动态存储供应参数：

yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: mapr-csi-sc
provisioner: com.mapr.csi
parameters:
  cluster: <mapr-cluster-name>          # MapR集群名称
  cldbHosts: <cldb-host1>,<cldb-host2>  # MapR CLDB节点地址
  volumeType: "maprfs"                  # 存储类型：maprfs或maprxd
  mountPrefix: "/mapr"                  # MapR文件系统挂载前缀
  securityType: "ticket"                # 认证类型：ticket或basic
reclaimPolicy: Delete  # 或Retain
allowVolumeExpansion: true  # 支持卷扩容

使用示例

创建持久卷声明（PVC）

yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mapr-csi-pvc
spec:
  accessModes:
    - ReadWriteMany  # 支持多节点读写
  storageClassName: "mapr-csi-sc"
  resources:
    requests:
      storage: 10Gi  # 请求10GiB存储

在Pod中使用PVC

yaml
apiVersion: v1
kind: Pod
metadata:
  name: mapr-csi-demo-pod
spec:
  containers:
  - name: demo-container
    image: busybox
    command: ["sleep", "3600"]
    volumeMounts:
    - name: mapr-storage
      mountPath: /data
  volumes:
  - name: mapr-storage
    persistentVolumeClaim:
      claimName: mapr-csi-pvc

配置参数说明

注意事项

• 确保Kubernetes节点已配置MapR客户端，且能解析MapR集群DNS
• 对于生产环境，建议使用Retain回收策略以避免误删数据
• 多节点读写（RWX）访问模式需MapR存储支持多客户端并发访问
• 卷扩容功能需MapR集群和Kubernetes版本均支持（Kubernetes 1.16+）

故障排除

• 检查CSI控制器和节点Pod状态：kubectl get pods -n mapr-csi
• 查看CSI驱动日志：kubectl logs <csi-controller-pod> -n mapr-csi -c mapr-csi-plugin
• 验证MapR集群连接：在Kubernetes节点执行maprcli node list -cluster <cluster-name>