rocm/gpu-operator

AMD GPU Operator 技术文档

镜像概述和主要用途

AMD GPU Operator是一款专为Kubernetes集群设计的工具，用于简化AMD GPU资源的管理流程。它通过自动化配置GPU驱动、设备插件和监控组件，实现GPU设备在Kubernetes环境中的即插即用，同时提供全面的设备健康监控和生命周期管理能力，帮助用户高效利用GPU资源进行计算任务。

核心功能和特性

• 自动配置：自动部署和配置AMD GPU驱动、容器运行时插件及设备插件，无需手动干预底层GPU环境配置。
• GPU资源监控：集成监控组件，实时采集GPU使用率、温度、内存占用等关键指标，支持与Prometheus、Grafana等监控平台对接。
• 生命周期管理：提供GPU设备的健康检查、故障检测及自动恢复能力，保障GPU资源稳定运行。
• Kubernetes原生集成：遵循Kubernetes资源模型，支持通过Pod、Deployment等原生资源申请和使用GPU，与Kubernetes调度机制深度整合。
• 版本兼容性管理：自动匹配GPU硬件与驱动版本，支持多版本驱动共存，适配不同场景下的GPU计算需求。

使用场景和适用范围

适用场景

• AI/机器学习训练与推理任务（如TensorFlow、PyTorch等框架的GPU加速）
• 高性能计算（HPC）工作负载
• 图形渲染与可视化应用
• 实时数据处理与流计算

适用范围

• 部署有AMD GPU硬件的Kubernetes集群（支持Kubernetes 1.20+版本）
• 需要对GPU资源进行精细化管理的企业级容器平台
• 追求自动化运维、降低GPU管理复杂度的技术团队

详细使用方法和配置说明

安装前提

• Kubernetes集群（1.20+版本），已配置容器运行时（Docker、containerd等）
• 集群节点已安装AMD GPU硬件，且BIOS启用GPU直通（如适用）
• 集群已部署Helm 3（推荐用于Operator安装）

安装步骤

1. 添加Helm仓库

bash
helm repo add amd-gpu-operator https://gitlab.com/api/v4/projects/38394975/packages/helm/stable
helm repo update

2. 安装GPU Operator

bash
helm install amd-gpu-operator amd-gpu-operator/gpu-operator \
  --namespace gpu-operator-resources \
  --create-namespace \
  --set driver.repository=amdgpu_driver \
  --set driver.version=5.4-22.40.1

配置参数说明

自定义配置示例

通过修改values.yaml文件自定义配置：

yaml
driver:
  version: 5.6-23.10.1  # 指定驱动版本
  imagePullPolicy: Always  # 总是拉取最新镜像
monitoring:
  metricsCollector.interval: 10s  # 监控指标采集间隔
resourceManager:
  limits:
    cpu: 500m
    memory: 512Mi

验证安装

安装完成后，检查相关组件状态：

bash
kubectl get pods -n gpu-operator-resources

预期输出包含gpu-operator-xxx、amdgpu-driver-xxx、gpu-metrics-exporter-xxx等Pod，状态均为Running。

卸载方法

bash
helm uninstall amd-gpu-operator -n gpu-operator-resources
kubectl delete namespace gpu-operator-resources

注意事项

• 确保集群节点的GPU硬件与指定驱动版本兼容，参考AMD官方兼容性列表。
• 监控功能依赖Prometheus Operator，需提前在集群中部署。
• 多GPU节点集群中，建议通过nodeSelector或taint/toleration控制GPU资源的调度范围。