mellanox/mofed4-1-1

RDMA加速应用Docker容器（100Gb InfiniBand网络）

镜像概述

本Docker镜像旨在提供一个能够在100Gb InfiniBand网络环境中运行RDMA（远程直接内存访问）加速应用的容器化环境。通过容器化部署，可简化RDMA应用的配置与管理，同时充分利用InfiniBand网络的高带宽（100Gb）和低延迟特性，满足高性能计算、分布式存储等场景对网络性能的严苛需求。

核心功能与特性

• RDMA加速支持：内置RDMA驱动与运行时环境，支持RDMA verbs接口，实现应用直接访问远程内存，降低CPU开销
• 100Gb InfiniBand适配：针对100Gb InfiniBand网络优化，确保网络带宽与延迟性能最大化
• 容器化部署：通过Docker容器封装应用与依赖，简化部署流程，提高环境一致性
• 兼容性：兼容主流RDMA应用（如MPI、分布式数据库等）及InfiniBand硬件（如Mellanox ConnectX系列网卡）

使用场景与适用范围

• 高性能计算（HPC）：集群环境中的并行计算任务，如科学计算、数值模拟等
• 分布式存储：需要高吞吐量数据传输的分布式存储系统（如Ceph、GlusterFS等）
• 大数据处理：大规模数据并行处理框架（如Spark、Hadoop）的节点间通信加速
• 低延迟交易系统：***、高频交易等对网络延迟敏感的应用场景

使用方法与配置说明

前提条件

1. 主机已安装InfiniBand驱动（如Mellanox OFED）
2. 主机具备100Gb InfiniBand硬件（如Mellanox ConnectX-5/6网卡）
3. Docker引擎版本≥19.03（支持--device参数与capabilities配置）

基本部署命令

bash
docker run -it --rm \
  --device=/dev/infiniband/uverbs0 \
  --device=/dev/infiniband/rdma_cm \
  --cap-add=IPC_LOCK \
  --cap-add=SYS_ADMIN \
  --net=host \
  [镜像名称] [应用命令]

参数说明

• --device=/dev/infiniband/uverbs0：挂载RDMA用户verbs设备，允许容器访问RDMA硬件
• --device=/dev/infiniband/rdma_cm：挂载RDMA连接管理设备，支持RDMA连接建立
• --cap-add=IPC_LOCK：允许容器锁定内存页，避免RDMA缓冲区被换出
• --cap-add=SYS_ADMIN：提供必要的系统管理权限，用于配置网络与设备
• --net=host：使用主机网络命名空间，确保RDMA网络配置与主机一致

环境变量配置

示例：运行RDMA测试工具

bash
# 启动容器并运行ib_write_bw测试（RDMA带宽测试工具）
docker run -it --rm \
  --device=/dev/infiniband/uverbs0 \
  --device=/dev/infiniband/rdma_cm \
  --cap-add=IPC_LOCK \
  --cap-add=SYS_ADMIN \
  --net=host \
  [镜像名称] ib_write_bw -d mlx5_0 -i 1

注意事项

• 容器与主机需使用相同版本的RDMA驱动，避免兼容性问题
• 确保主机InfiniBand网络已正确配置（如子网管理器、IPoIB等）
• 高并发场景下建议调整容器内存限制（--memory），避免内存不足影响RDMA性能