roruk/hostpath-provisioner

Kubernetes hostpath provisioner

镜像概述和主要用途

该镜像是一个Kubernetes的Persistent Volume Claim (PVC) provisioner，用于动态提供hostPath卷以支持PVC存储。基于Kubernetes孵化项目的演示版hostpath-provisioner开发，但经过优化以适用于生产环境。其核心用途是通过主机上挂载的网络文件系统提供存储，而非依赖Kubernetes内置的网络卷支持，实现存储配置的集中化管理。

核心功能和特性

优点

• 无需暴露凭据：无需向用户暴露PV凭据（例如cephfs-provisioner需要此类凭据）
• 支持非原生存储：可在Kubernetes原生不支持的网络存储上provision PV，如ceph-fuse
• 集中化配置：存储配置在节点集中管理（如/etc/fstab），可更改存储配置或类型（如从NFS迁移到CephFS），无需手动更新每个PV

缺点

• 节点访问限制：每个节点需完全访问包含所有PV的存储，可能削弱Kubernetes的节点访问限制（如Node authorizor）
• 存储状态不可见：无法通过标准Kubernetes API检查存储状态
• 错误报告缺失：Kubernetes无法报告存储相关错误（如挂载失败），用户无法获取此类信息
• 主机访问依赖：在主机访问受限的环境（如GKE）中，将存储配置从Kubernetes移至主机效果不佳

使用场景和适用范围

• 适用于使用网络文件系统（如CephFS、ceph-fuse）的Kubernetes集群
• 已在CephFS和ceph-fuse环境中测试和使用，理论上可用于任何网络文件系统
• 不适用场景：没有网络文件系统的环境，除非能确保所有provisioned PV仅在其创建的主机上使用（hostPath的固有限制）

详细使用方法和配置说明

部署

挂载网络存储

首先在每个主机上挂载存储，可通过systemd mount单元或/etc/fstab等方式。存储必须在所有主机上挂载于相同路径。

无论采用何种方式，应将挂载点设置为不可变，以防止存储未挂载时误写入主机本地：

bash
# mkdir /mynfs
# chattr +i /mynfs
# mount -tnfs mynfsserver:/export/mynfs /mynfs

注意：不可变标志设置在底层挂载点，而非挂载的文件系统。挂载后，文件系统可正常创建文件。

创建StorageClass

provisioner必须与Kubernetes StorageClass关联：

yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: cephfs
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
provisioner: torchbox.com/hostpath
parameters:
  pvDir: /ceph/pvs

• name：自定义名称，可按存储类型（如cephfs-ssd、bignfs）或通用名称（如pvstorage）命名
• is-default-class注解：若不想作为默认存储类，删除该注解，此时仅在PVC明确指定时使用
• pvDir：主机上卷的根路径，必须位于网络存储，但无需是存储根目录或挂载点
• provisioner：默认值为torchbox.com/hostpath，运行多个provisioner时需与启动参数-name匹配

启动provisioner

集群外

集群外使用时，通过kubeconfig文件指定Kubernetes集群：

bash
# ./hostpath-provisioner -kubeconfig ~/.kube/config

• 通常需以root运行，非特权用户需具备创建和删除PV的权限（如赋予CAP_DAC_OVERRIDE capability；ACL不足，用户可能移除ACL导致无法删除PV）

集群内

使用示例deployment.yaml部署，需编辑volumes卷指向网络存储位置（通常与StorageClass的pvDir相同）。示例部署包含RBAC配置，创建服务账户hostpath-provisioner。若集群通过Pod Security Policies限制hostPath访问，需确保该服务账户有权使用hostPath（仅provisioner自身需要）。

创建PVC

创建PVC测试provisioner功能：

yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: testpvc
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 50Gi

执行创建命令：

bash
$ kubectl create -f testpvc.yaml
persistentvolumeclaim "testpvc" created

provisioner将检测PVC并自动provision PV，PVC状态变为Bound：

bash
$ kubectl get pvc
NAME      STATUS    VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
testpvc   Bound     pvc-145c785e-ab83-11e7-9432-4201ac1fd019   50Gi       RWX            cephfs         10s

此时可在Pod中使用该PVC。

CephFS配额支持

provisioner可在创建的PV上设置CephFS配额。CephFS配额由客户端强制执行，用户可通过编辑PV的扩展属性覆盖，因此配额是提示性限制而非安全功能。

启用方法

在StorageClass参数中添加cephFSQuota: true：

yaml
parameters:
  pvDir: /ceph/pvs
  cephFSQuota: "true"

权限要求

需确保Ceph客户端对文件系统具有MDS 'p'权限（详见CephFS客户端权限），这也意味着PV用户将有权修改配额属性。