yzs981130/pod-gpu-metrics-exporter

Pod GPU Metrics Exporter

镜像概述

Pod GPU Metrics Exporter是一个基于Go编写的HTTP服务器，在localhost:9400/gpu/metrics端点提供Kubernetes集群中每个Pod的GPU指标。它通过连接kubelet的gRPC服务（/var/lib/kubelet/pod-resources）获取Pod的GPU资源信息（基于Kubernetes设备分配特性），并将Pod元数据附加到dcgm-exporter收集的GPU指标中，支持Prometheus直接抓取。

核心功能

1. 连接kubelet的gRPC服务，识别Pod使用的GPU设备
2. 整合dcgm-exporter的GPU指标，添加Pod名称、命名空间、容器名称等元数据
3. 提供独立HTTP端点，无需依赖node-exporter即可让Prometheus抓取GPU指标

使用场景

适用于Kubernetes集群中GPU资源的精细化监控，尤其是需要按Pod维度分析GPU温度、利用率、内存使用等指标的场景。

配置说明

前提条件

• NVIDIA Tesla驱动版本 ≥ R384（可从http://www.nvidia.com/drivers%E8%8E%B7%E5%8F%96%EF%BC%89
• nvidia-docker版本 > 2.0（参考https://github.com/NVIDIA/nvidia-docker%E5%8F%8Ahttps://github.com/nvidia/nvidia-docker/wiki/Installation-(version-2.0#prerequisites)%EF%BC%89
• 设置默认运行时为nvidia（参考https://github.com/NVIDIA/nvidia-container-runtime#daemon-configuration-file%EF%BC%89
• Kubernetes版本 ≥ 1.13
• 在/etc/default/kubelet中启用KubeletPodResources：KUBELET_EXTRA_ARGS=--feature-gates=KubeletPodResources=true

部署示例

Kubernetes集群部署

sh
# 部署nvidia-k8s-device-plugin
# 部署GPU Pods

# 创建监控命名空间
$ kubectl create namespace monitoring

# 向Prometheus添加GPU指标端点
$ kubectl create -f prometheus/prometheus-configmap.yaml

# 部署Prometheus
$ kubectl create -f prometheus/prometheus-deployment.yaml

# 部署Pod GPU Metrics Exporter守护进程
$ kubectl create -f pod-gpu-metrics-exporter-daemonset.yaml

# 在浏览器中访问：localhost:9090

Docker构建与运行

sh
# 构建镜像
$ docker build -t pod-gpu-metrics-exporter .

# 运行dcgm-exporter
$ docker run -d --runtime=nvidia --rm --name=nvidia-dcgm-exporter nvidia/dcgm-exporter

# 运行Pod GPU Metrics Exporter
$ docker run -d --privileged --rm -p 9400:9400 -v /var/lib/kubelet/pod-resources:/var/lib/kubelet/pod-resources --volumes-from nvidia-dcgm-exporter:ro nvidia/pod-gpu-metrics-exporter:v1.0.0-alpha

# 检查GPU指标
$ curl -s localhost:9400/gpu/metrics

本地构建与运行

sh
$ git clone <仓库地址>
$ cd src && go build
$ sudo ./src