mpioperator/mpi-operator

MPI Operator

https://github.com/kubeflow/mpi-operator/workflows/build/badge.svg](https://github.com/kubeflow/mpi-operator/actions?query=event%3Apush+branch%3Amaster) https://goreportcard.com/badge/github.com/kubeflow/mpi-operator](https://goreportcard.com/report/github.com/kubeflow/mpi-operator)

MPI Operator便于在Kubernetes上运行allreduce风格的分布式训练。有关MPI Operator及其行业应用的介绍，请查看此博客文章。

概述和主要用途

MPI Operator是Kubeflow项目的一部分，旨在简化在Kubernetes集群上部署和管理分布式机器学习训练作业，特别是采用allreduce通信模式的训练任务（如使用Horovod等框架的分布式训练）。它通过自定义资源（CRD）MPIJob来定义和管理分布式训练作业，实现了训练任务的自动化部署、扩展和监控。

核心功能和特性

• 分布式训练支持：原生支持allreduce风格的分布式训练，适用于TensorFlow、PyTorch等框架的分布式训练场景。
• Kubernetes集成：通过自定义资源定义（CRD）mpijobs.kubeflow.org与Kubernetes深度集成，支持Kubernetes的资源管理、调度能力。
• 灵活配置：支持配置Launcher和Worker角色的容器规格、资源限制（如GPU数量）、环境变量等。
• 监控与指标：暴露作业创建、成功、失败等指标，便于集成监控系统（如Prometheus）。
• 自动化部署：提供简单的部署脚本和配置文件，支持快速部署到Kubernetes集群。

使用场景和适用范围

• 分布式机器学习训练：适用于需要多节点、多GPU协作的深度学习训练任务，如图像分类、自然语言处理等大规模模型训练。
• Kubeflow生态集成：作为Kubeflow的一部分，可与Kubeflow的其他组件（如TF Operator、PyTorch Operator）配合使用，构建完整的机器学习平台。
• 企业级分布式训练：支持工业界常见的分布式训练需求，已被多家企业采用（如博客文章所述）。

安装方法

基本部署

可通过以下命令使用默认设置部署operator：

shell
git clone https://github.com/kubeflow/mpi-operator
cd mpi-operator
kubectl create -f deploy/v1alpha2/mpi-operator.yaml

作为Kubeflow组件部署

或者，按照Kubeflow快速入门指南部署Kubeflow。MPI支持的alpha版本随Kubeflow 0.2.0引入，需使用版本高于0.2.0的Kubeflow。

验证CRD安装

可通过以下命令检查MPI Job自定义资源是否已安装：

shell
kubectl get crd

输出应包含mpijobs.kubeflow.org，如下所示：

NAME                                       AGE
...
mpijobs.kubeflow.org                       4d
...

若未包含，可使用https://github.com/kubernetes-sigs/kustomize%E6%B7%BB%E5%8A%A0%EF%BC%9A

bash
git clone https://github.com/kubeflow/mpi-operator
cd mpi-operator/manifests
kustomize build overlays/kubeflow | kubectl apply -f -

注意：自Kubernetes v1.14起，kustomize成为kubectl的子命令，也可运行：

bash
kubectl kustomize base | kubectl apply -f -

创建MPI Job

定义MPIJob配置文件

通过定义MPIJob配置文件创建MPI作业。例如，https://github.com/kubeflow/mpi-operator/blob/master/examples/v1alpha2/tensorflow-benchmarks.yaml%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6%E7%94%A8%E4%BA%8E%E5%90%AF%E5%8A%A8%E5%A4%9A%E8%8A%82%E7%82%B9TensorFlow%E5%9F%BA%E5%87%86%E8%AE%AD%E7%BB%83%E4%BD%9C%E4%B8%9A%EF%BC%8C%E5%8F%AF%E6%A0%B9%E6%8D%AE%E9%9C%80%E6%B1%82%E4%BF%AE%E6%94%B9%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6%E3%80%82

查看示例配置文件内容：

shell
cat examples/v1alpha2/tensorflow-benchmarks.yaml

部署MPIJob

部署MPIJob资源以启动训练：

shell
kubectl create -f examples/v1alpha2/tensorflow-benchmarks.yaml

监控MPI Job

查看作业状态

创建MPIJob资源后，可查看匹配GPU数量的pods，并通过状态部分监控作业状态。以下是作业成功完成时的示例输出：

shell
kubectl get -o yaml mpijobs tensorflow-benchmarks

示例输出（部分）：

yaml
apiVersion: kubeflow.org/v1alpha2
kind: MPIJob
metadata:
  name: tensorflow-benchmarks
  namespace: default
spec:
  cleanPodPolicy: Running
  mpiReplicaSpecs:
    Launcher:
      replicas: 1
      template:
        spec:
          containers:
          - command:
            - mpirun
            - --allow-run-as-root
            - -np
            - "2"
            - -bind-to
            - none
            - -map-by
            - slot
            - -x
            - NCCL_DEBUG=INFO
            - -x
            - LD_LIBRARY_PATH
            - -x
            - PATH
            - -mca
            - pml
            - ob1
            - -mca
            - btl
            - ^openib
            - python
            - scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py
            - --model=resnet101
            - --batch_size=64
            - --variable_update=horovod
            image: mpioperator/tensorflow-benchmarks:latest
            name: tensorflow-benchmarks
    Worker:
      replicas: 1
      template:
        spec:
          containers:
          - image: mpioperator/tensorflow-benchmarks:latest
            name: tensorflow-benchmarks
            resources:
              limits:
                nvidia.com/gpu: 2
  slotsPerWorker: 2
status:
  completionTime: "2019-07-09T22:17:06Z"
  conditions:
  - lastTransitionTime: "2019-07-09T22:15:51Z"
    message: MPIJob default/tensorflow-benchmarks is created.
    reason: MPIJobCreated
    status: "True"
    type: Created
  - lastTransitionTime: "2019-07-09T22:17:06Z"
    message: MPIJob default/tensorflow-benchmarks successfully completed.
    reason: MPIJobSucceeded
    status: "True"
    type: Succeeded
  startTime: "2019-07-09T22:15:51Z"

查看训练日志

训练通常运行100步，在GPU集群上需几分钟。作业启动后，可通过launcher pod查看日志：

shell
PODNAME=$(kubectl get pods -l mpi_job_name=tensorflow-benchmarks,mpi_role_type=launcher -o name)
kubectl logs -f ${PODNAME}

日志示例（部分）：

TensorFlow:  1.14
Model:       resnet101
Dataset:     imagenet (synthetic)
Mode:        training
Batch size:  128 global
             64 per device
Num batches: 100
Devices:     ['horovod/gpu:0', 'horovod/gpu:1']
...
100	images/sec: 154.2 +/- 0.4 (jitter = 4.0)	8.542
----------------------------------------------------------------
total images/sec: 308.27

暴露指标

指标列表

指标关联

结合https://github.com/kubernetes/kube-state-metrics%EF%BC%8C%E5%8F%AF%E9%80%9A%E8%BF%87%E6%A0%87%E7%AD%BE%E5%85%B3%E8%81%94%E6%8C%87%E6%A0%87%E3%80%82%E4%BE%8B%E5%A6%82%EF%BC%9A

kube_pod_info * on(pod,namespace) group_left label_replace(mpi_operator_job_infos, "pod", "$0", "launcher", ".*")

Docker镜像

Docker镜像会自动构建并推送到https://hub.docker.com/u/mpioperator%E3%80%82%E5%8F%AF%E4%BD%BF%E7%94%A8%E4%BB%A5%E4%B8%8BDockerfile%E8%87%AA%E8%A1%8C%E6%9E%84%E5%BB%BA%E9%95%9C%E5%83%8F%EF%BC%9A

• https://github.com/kubeflow/mpi-operator/blob/master/Dockerfile
• https://github.com/kubeflow/mpi-operator/blob/master/cmd/kubectl-delivery/Dockerfile