AMD GPU Operator用于在Kubernetes集群中配置、监控和管理AMD GPU资源,提供GPU设备的自动配置、健康监控及生命周期管理能力,简化GPU在容器化环境中的部署与运维。
AMD GPU Operator 技术文档
镜像概述和主要用途
AMD GPU Operator是一款专为Kubernetes集群设计的工具,用于简化AMD GPU资源的管理流程。它通过自动化配置GPU驱动、设备插件和监控组件,实现GPU设备在Kubernetes环境中的即插即用,同时提供全面的设备健康监控和生命周期管理能力,帮助用户高效利用GPU资源进行计算任务。
核心功能和特性
- 自动配置:自动部署和配置AMD GPU驱动、容器运行时插件及设备插件,无需手动干预底层GPU环境配置。
- GPU资源监控:集成监控组件,实时采集GPU使用率、温度、内存占用等关键指标,支持与Prometheus、Grafana等监控平台对接。
- 生命周期管理:提供GPU设备的健康检查、故障检测及自动恢复能力,保障GPU资源稳定运行。
- Kubernetes原生集成:遵循Kubernetes资源模型,支持通过Pod、Deployment等原生资源申请和使用GPU,与Kubernetes调度机制深度整合。
- 版本兼容性管理:自动匹配GPU硬件与驱动版本,支持多版本驱动共存,适配不同场景下的GPU计算需求。
使用场景和适用范围
适用场景
- AI/机器学习训练与推理任务(如TensorFlow、PyTorch等框架的GPU加速)
- 高性能计算(HPC)工作负载
- 图形渲染与可视化应用
- 实时数据处理与流计算
适用范围
- 部署有AMD GPU硬件的Kubernetes集群(支持Kubernetes 1.20+版本)
- 需要对GPU资源进行精细化管理的企业级容器平台
- 追求自动化运维、降低GPU管理复杂度的技术团队
详细使用方法和配置说明
安装前提
- Kubernetes集群(1.20+版本),已配置容器运行时(Docker、containerd等)
- 集群节点已安装AMD GPU硬件,且BIOS启用GPU直通(如适用)
- 集群已部署Helm 3(推荐用于Operator安装)
安装步骤
1. 添加Helm仓库
bashhelm repo add amd-gpu-operator https://gitlab.com/api/v4/projects/38394975/packages/helm/stable helm repo update
2. 安装GPU Operator
bashhelm install amd-gpu-operator amd-gpu-operator/gpu-operator \ --namespace gpu-operator-resources \ --create-namespace \ --set driver.repository=amdgpu_driver \ --set driver.version=5.4-22.40.1
配置参数说明
| 参数路径 | 描述 | 默认值 |
|---|---|---|
driver.repository | GPU驱动镜像仓库 | amdgpu_driver |
driver.version | GPU驱动版本 | 5.4-22.40.1 |
monitoring.enabled | 是否启用GPU监控 | true |
monitoring.serviceMonitor.enabled | 是否创建Prometheus ServiceMonitor | true |
resourceManager.enabled | 是否启用GPU资源管理器 | true |
nodeSelector | 指定部署节点的标签选择器 | {} |
自定义配置示例
通过修改values.yaml文件自定义配置:
yamldriver: version: 5.6-23.10.1 # 指定驱动版本 imagePullPolicy: Always # 总是拉取最新镜像 monitoring: metricsCollector.interval: 10s # 监控指标采集间隔 resourceManager: limits: cpu: 500m memory: 512Mi
验证安装
安装完成后,检查相关组件状态:
bashkubectl get pods -n gpu-operator-resources
预期输出包含gpu-operator-xxx、amdgpu-driver-xxx、gpu-metrics-exporter-xxx等Pod,状态均为Running。
卸载方法
bashhelm uninstall amd-gpu-operator -n gpu-operator-resources kubectl delete namespace gpu-operator-resources
注意事项
- 确保集群节点的GPU硬件与指定驱动版本兼容,参考https://www.amd.com/en/support/kb/release-notes/rn-amdgpu-unified-linux-22-40。
- 监控功能依赖Prometheus Operator,需提前在集群中部署。
- 多GPU节点集群中,建议通过
nodeSelector或taint/toleration控制GPU资源的调度范围。
rocm 命名空间的其他可用镜像:
rocm/vllm
vLLM 推理服务,ROCm GPU 优化版本
rocm/pytorch
PyTorch 机器学习框架,ROCm GPU 加速版本
rocm/vllm-dev
基于 ROCm 的 vLLM 开发与推理镜像,适合 AMD GPU 上的大模型服务
rocm/vllm-ci
ROCm 场景下的 vLLM CI/构建相关镜像,适合 AMD GPU 大模型流水线验证
rocm/sgl-dev
ROCm SGLang 开发镜像,适合 AMD GPU 大模型推理开发
rocm/k8s-device-plugin
ROCm Kubernetes Device Plugin,适合 AMD GPU 在 K8s 中调度
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 gpu-operator 镜像标签
docker pull docker.xuanyuan.run/rocm/gpu-operator:<标签>
DockerHub 原生拉取命令
docker pull rocm/gpu-operator:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务