nvidia/dcgm

NVIDIA DCGM 容器镜像文档

镜像概述与主要用途

NVIDIA Data Center GPU Manager (DCGM) 是一套用于在集群环境中管理和监控NVIDIA数据中心GPU的工具套件。它包含主动健康监控、全面诊断、系统警报以及治理策略（包括电源和时钟管理）等功能。该容器镜像实现了独立的DCGM服务，客户端可通过连接该容器访问GPU遥测、健康状态等相关功能。

核心功能与特性

• 主动健康监控：实时监测GPU运行状态，及时发现潜在问题。
• 全面诊断能力：提供GPU详细诊断信息，辅助故障排查。
• 系统警报机制：针对GPU异常状态生成系统级警报，支持及时响应。
• 治理策略管理：包含电源和时钟管理等策略，优化GPU资源利用。
• 独立服务运行：容器化部署，可作为独立服务运行于集群环境。
• 易于集成扩展：支持与NVIDIA合作伙伴的集群管理工具、资源调度和监控产品集成。

使用场景与适用范围

适用于需要对NVIDIA数据中心GPU进行集中管理和监控的集群环境，主要场景包括：

• GPU遥测数据采集：通过客户端工具（如dcgmi dmon）实时获取GPU性能指标。
• GPU健康状态监测：通过DCGM API检查GPU健康状况，确保设备稳定运行。

使用方法与配置说明

前提条件

• 主机需安装NVIDIA Docker运行时，支持--gpus参数。
• 需根据需求选择合适的镜像标签（如3.3.7-1-ubuntu22.04）。

场景1：访问GPU遥测数据

若需采集GPU性能指标，容器需具备SYS_ADMIN权限。启动命令如下：

bash
docker run --gpus all \
   --cap-add SYS_ADMIN \
   -p 5555:5555 \
   nvidia/dcgm:3.3.7-1-ubuntu22.04

参数说明：

• --gpus all：允许容器访问主机所有GPU设备。
• --cap-add SYS_ADMIN：添加系统管理权限，用于采集性能指标。
• -p 5555:5555：将容器内5555端口映射到主机，供客户端连接nv-hostengine服务。

启动后，客户端可通过dcgmi dmon等工具连接主机5555端口，实时流式获取GPU遥测数据。

场景2：监测GPU健康状态

监测GPU健康状态无需额外权限，可非特权运行容器：

bash
docker run --gpus all \
   -p 5555:5555 \
   nvidia/dcgm:3.3.7-1-ubuntu22.04

客户端可通过连接容器访问DCGM健康监测API（详见https://docs.nvidia.com/datacenter/dcgm/latest/dcgm-api/group__DCGMAPI__HM.html#group__DCGMAPI__HM%EF%BC%89%EF%BC%8C%E8%8E%B7%E5%8F%96GPU%E5%81%A5%E5%BA%B7%E7%8A%B6%E6%80%81%E6%8A%A5%E5%91%8A%E3%80%82

推荐阅读

如需更多关于DCGM的信息和文档，请访问产品页面：https://developer.nvidia.com/dcgm

许可协议

拉取并使用本容器即表示您接受https://developer.nvidia.com/ngc/nvidia-deep-learning-container-license%E7%9A%84%E6%9D%A1%E6%AC%BE%E4%B8%8E%E6%9D%A1%E4%BB%B6%E3%80%82