rdma/k8s-rdma-sriov-dev-plugin

k8s-rdma-sriov-dev-plugin

（镜像地址：https://hub.docker.com/r/mellanox/k8s-rdma-sriov-dev-plugin%EF%BC%89

镜像概述

这是一款轻量级的Kubernetes RDMA设备插件，支持IB（InfiniBand）和RoCE（RDMA over Converged Ethernet）协议下的SRIOV vHCA（虚拟主机通道适配器）及HCA（主机通道适配器）设备管理，同时兼容Mellanox网卡的DPDK应用场景。插件以DaemonSet形式部署，覆盖集群所有节点。

核心功能

• 支持IB/RoCE SRIOV vHCA及HCA设备的自动配置与管理
• 兼容Mellanox NIC的DPDK应用
• 自动启用SRIOV功能（无需手动配置PF的SRIOV或添加VF）
• 以DaemonSet模式运行，确保节点级资源全覆盖

使用场景

适用于需要低延迟、高带宽网络的Kubernetes集群场景：

• 高性能计算（HPC）任务
• ***低延迟交易系统
• 分布式存储（如Ceph、GlusterFS）
• 大数据实时处理

配置说明

SRIOV模式使用步骤

1. 节点SRIOV配置
   编辑example/sriov/rdma-sriov-node-config.yaml，描述SRIOV物理功能（PF）网络设备（如eth0、eth1）。注意：无需手动添加VF或启用SRIOV。

2. 创建ConfigMap

   bash
   kubectl create -f example/sriov/rdma-sriov-node-config.yaml
   

3. 部署设备插件

   bash
   kubectl create -f https://github.com/Mellanox/k8s-rdma-sriov-dev-plugin/blob/master/example/device-plugin.yaml
   

4. 测试Pod创建
   请求1个vHCA资源的测试Pod：

   bash
   kubectl create -f example/sriov/test-sriov-pod.yaml
   

HCA模式使用步骤

1. 节点HCA配置
   编辑example/hca/rdma-hca-node-config.yaml，设置模式为"HCA"。

2. 创建ConfigMap

   bash
   kubectl create -f https://cdn.rawgit.com/Mellanox/k8s-rdma-sriov-dev-plugin/7b27f8cf/example/hca/rdma-hca-node-config.yml
   

3. 部署设备插件
   同SRIOV模式部署命令：

   bash
   kubectl create -f https://github.com/Mellanox/k8s-rdma-sriov-dev-plugin/blob/master/example/device-plugin.yaml
   

4. 测试Pod创建
   请求1个HCA资源的测试Pod：

   bash
   kubectl create -f example/hca/test-hca-pod.yaml