kalenpeterson/dgx-chargeback

DGX-Slurm GPU 计费工具

链接

• https://github.com/kalenpeterson/dgx-chargeback#readme

概述

此计费流程使用Python 3.8编写，主要执行以下步骤：

• 连接Slurm Acct数据库（MySQL）
• 连接计费数据库（MySQL）
• 通过SSH连接Linux主机
• 从Slurm Acct数据库拉取最近'n'天内的所有已完成作业
• 解析并映射字段，包括：
  • 作业状态
  • 通过SSH主机将用户UID映射为用户名
• 向计费数据库插入新记录：
  • 插入前会查询确保不存在相同"slurm_job_id"的记录
• 发送附带运行日志文件的邮件通知

注意事项

• 脚本具备幂等性，可多次运行而不会创建重复记录
• 默认情况下，脚本会从Slurm拉取过去5天的数据并尝试插入，有助于在临时故障时确保数据不丢失，下次成功运行时会补充添加
• SMTP凭据为可选，如果未提供，则不会尝试向SMTP服务器进行身份验证

构建

由于依赖要求，建议构建容器镜像并通过容器执行。构建步骤如下：

克隆仓库

bash
git clone https://github.com/kalenpeterson/dgx-chargeback.git
cd dgx-chargeback

编辑build.sh

更新build/build.sh文件，设置本地仓库的期望镜像标签

运行构建

运行构建命令。确保事先已登录到仓库：

bash
podman login <your.repo>
./build/build.sh

构建完成后，可参考本文档其余部分的示例进行使用

简单使用

快速简单的运行方式，主要用于开发和测试。

一次性容器

使用podman以一次性容器方式运行计费流程：

bash
podman run --rm \
    -e SLURM_JOB_PREV_DAYS=5 \
    -e SLURM_CLUSTER_NAME='' \
    -e SLURM_DB_HOST='' \
    -e SLURM_DB_PORT=3306 \
    -e SLURM_DB_USERNAME='' \
    -e SLURM_DB_PASSWORD='' \
    -e CHARGEBACK_DB_HOST='' \
    -e CHARGEBACK_DB_PORT=3306 \
    -e CHARGEBACK_DB_SCHEMA_NAME='' \
    -e CHARGEBACK_DB_TABLE_NAME='' \
    -e CHARGEBACK_DB_USERNAME='' \
    -e CHARGEBACK_DB_PASSWORD='' \
    -e SSH_HOST='' \
    -e SSH_PORT=22 \
    -e SSH_USERNAME='' \
    -e SSH_PASSWORD='' \
    -e EMAIL_SMTP_HOST='' \
    -e EMAIL_SMTP_PORT=25 \
    -e EMAIL_SMTP_USERNAME='' \
    -e EMAIL_SMTP_PASSWORD='' \
    -e EMAIL_TO_ADDRESS='用户 <user.name@example.com>' \
    -e EMAIL_FROM_ADDRESS='DGX计费 <no-reply@example.com>' \
    docker.io/kalenpeterson/dgx-chargeback:latest

从源码运行（需要python3.8）

不创建容器直接运行Python代码：

• 根据环境不同，可能会缺少依赖
• 依赖项详见requirements.txt和Dockerfile

bash
cd src
pip install -r requirements.txt
python main.py \
    --slurm-job-prev-day 5 \
    --slurm-cluster-name '' \
    --slurm-db-host '' \
    --slurm-db-port 3306 \
    --slurm-db-username '' \
    --slurm-db-password '' \
    --chargeback-db-host '' \
    --chargeback-db-port 3306 \
    --chargeback-db-schema-name '' \
    --chargeback-db-table-name '' \
    --chargeback-db-username '' \
    --chargeback-db-password '' \
    --ssh-host '' \
    --ssh-port 22 \
    --ssh-username '' \
    --ssh-password '' \
    --email-smtp-host '' \
    --email-smtp-port 25 \
    --email-smtp-username '' \
    --email-smtp-password '' \
    --email-to-address '用户 <user.name@example.com>' \
    --email-from-address 'DGX计费 <no-reply@example.com>'

Kubernetes CronJob

将此流程部署为Kubernetes CronJob，更适用于长期可靠执行的场景。

部署

编辑./build/kubernetes-config.yml文件，设置环境变量：

• 如果SMTP不需要身份验证，可省略SMTP用户名和密码
• 密钥必须是无引号的base64格式，可使用以下*nix命令转换：

bash
echo -n 'mypassword' | base64 --wrap=0

编辑./build/kubernetes-cronjob.yml文件，设置构建的镜像名称和所需的cron调度时间。

最后，运行部署脚本进行安装：

bash
./build/deploy.sh

CronJob管理

以下是管理作业的常用命令：

检查CronJob调度状态

bash
kubectl get cronjob dgx-chargeback -o wide

列出当前和最近几次作业运行

bash
kubectl get jobs -o wide

打印特定作业运行的日志

• 使用上述命令获取作业运行名称（例如"dgx-chargeback-xxxxxxx"）
• 使用以下命令查看指定作业实例的日志：

bash
kubectl logs $(kubectl get pods --selector=job-name=dgx-chargeback-xxxxxxx --output=jsonpath={.items[*].metadata.name})

随时运行临时作业

• 此命令会立即执行配置的CronJob，但不影响未来的计划运行
• 运行后可使用上述命令监控：

bash
kubectl create job --from=cronjob/dgx-chargeback dgx-chargeback-ad-hok-$(date "+%s")

暂停CronJob

• 暂停后CronJob将不会运行，直至恢复：

bash
kubectl patch cronjobs dgx-chargeback -p '{"spec" : {"suspend" : true }}'

恢复CronJob

• 恢复被暂停的CronJob：

bash
kubectl patch cronjobs dgx-chargeback -p '{"spec" : {"suspend" : false }}'

修改作业配置

• 使用以下命令编辑密钥、配置映射或调度：

bash
kubectl edit secret env-secret-dgx-chargeback
kubectl edit configmap env-config-dgx-chargeback
kubectl edit cronjob dgx-chargeback

删除作业配置

• 使用以下命令从集群中删除作业：

bash
kubectl delete secret env-secret-dgx-chargeback
kubectl delete configmap env-config-dgx-chargeback
kubectl delete cronjob dgx-chargeback