paddlepaddle/cloud

PaddlePaddle Cloud Docker镜像文档

镜像概述

PaddlePaddle Cloud是一个面向云服务提供商和企业的分布式深度学习云平台。该平台以Kubernetes作为后端任务调度和集群资源管理中心，以PaddlePaddle作为深度学习框架，允许用户通过网页或命令行工具远程提交深度学习训练任务，充分利用大规模GPU集群的计算能力。

核心功能与特性

• Kubernetes集成：采用Kubernetes作为核心后端，实现高效的任务调度和集群资源管理
• 多提交方式：支持通过网页界面或命令行工具提交训练任务
• PaddlePaddle框架支持：深度整合PaddlePaddle深度学习框架，提供专业的模型训练环境
• 大规模GPU集群利用：能够高效利用GPU集群资源，支持分布式训练
• 灵活存储配置：支持CephFS和HostPath等多种存储方式，适应不同部署环境

使用场景与适用范围

• 企业深度学习训练：企业级大规模深度学习模型训练任务
• 云服务提供商：为用户提供深度学习即服务(DLaaS)
• 研究机构：学术研究中的大规模模型训练和实验
• 需要GPU集群资源的团队：需要利用分布式GPU资源进行高效训练的团队

使用方法与配置说明

前置要求

• 需部署Kubernetes集群，可使用https://github.com/k8sp/sextant%E6%88%96%E5%85%B6%E4%BB%96%E5%B7%A5%E5%85%B7%E9%83%A8%E7%BD%B2

在minikube上运行

详细说明请参见https://github.com/PaddlePaddle/cloud/blob/develop/doc/run_on_minikube.md

在Kubernetes上运行

构建Paddle Cloud Docker镜像

bash
# 克隆代码仓库
git clone https://github.com/PaddlePaddle/cloud.git
cd cloud/paddlecloud
# 构建镜像
docker build -t [你的Docker仓库地址]/pcloud .
# 推送到仓库，以便Kubernetes可以访问
docker push [你的Docker仓库地址]/pcloud

配置存储卷

使用Kubernetes的https://kubernetes.io/docs/concepts/storage/volumes/%E6%8C%82%E8%BD%BDMySQL%E6%95%B0%E6%8D%AE%E3%80%81%E8%AF%81%E4%B9%A6%E6%96%87%E4%BB%B6%E5%92%8C%E9%85%8D%E7%BD%AE%EF%BC%8C%60k8s/%60%E6%96%87%E4%BB%B6%E5%A4%B9%E4%B8%AD%E6%8F%90%E4%BE%9B%E4%BA%86%E4%BD%BF%E7%94%A8https://kubernetes.io/docs/concepts/storage/volumes/#hostpath%E6%8C%82%E8%BD%BD%E7%8B%AC%E7%AB%8B%E6%96%87%E4%BB%B6%E5%92%8C%E9%85%8D%E7%BD%AE%E7%9A%84%E7%A4%BA%E4%BE%8B%E3%80%82

1. 在Kubernetes节点上创建数据文件夹：

bash
mkdir -p /home/pcloud/data/mysql
mkdir -p /home/pcloud/data/certs

2. 复制Kubernetes CA文件（ca.pem、ca-key.pem）到/home/pcloud/data/certs文件夹
3. 复制Kubernetes管理员用户密钥（admin.pem、admin-key.pem）到/home/pcloud/data/certs文件夹（若工作节点上没有，可在主节点找到）
4. （可选）复制CephFS密钥文件(admin.secret)到/home/pcloud/data/certs文件夹
5. 复制paddlecloud/settings.py文件到/home/pcloud/data文件夹

配置cloud_deployment.yaml

• 修改spec.template.spec.containers[0].volumes中的hostPath以匹配你的数据文件夹
• 编辑spec.template.spec.nodeSelector.kubernetes.io/hostname的值，设置为数据文件夹所在的节点（可使用kubectl get nodes列出所有节点）

配置settings.py

• 将域名（或Paddle Cloud服务器的主机名/IP地址）添加到ALLOWED_HOSTS
• 配置DATACENTERS以指定后端存储，目前支持CephFS和HostPath。若使用HostPath模式（可结合NFS等共享文件系统），需按以下方式修改：

python
DATACENTERS = {
    "<你的数据中心名称>":{
        "fstype": "hostpath",
        "host_path": "/home/pcloud/data/public/",
        "mount_path": "/pfs/%s/home/%s/"  # 挂载路径格式: mount_path % (数据中心名, 用户名)
    }
}

配置网络访问

• 若Kubernetes集群使用https://kubernetes.io/docs/concepts/services-networking/ingress/%E4%BB%A3%E7%90%86HTTP%E6%B5%81%E9%87%8F%EF%BC%88%E5%A6%82%E9%9C%80%E4%BD%BF%E7%94%A8Jupyter notebook，必须配置ingress控制器），需配置cloud_ingress.yaml，修改spec.rules[0].host为你的域名
• 或配置cloud_service.yaml使用https://kubernetes.io/docs/concepts/services-networking/service/#type-nodeport

部署MySQL

若集群中没有MySQL，需先部署：

bash
# 需先在yaml文件中填写nodeselector字段（节点的主机名或IP）
kubectl create -f ./mysql_deployment.yaml
kubectl create -f ./mysql_service.yaml

然后在settings.py中修改MySQL端点

部署Paddle Cloud

bash
# 需先在yaml文件中填写nodeselector字段（节点的主机名或IP）
kubectl create -f k8s/cloud_deployment.yaml
kubectl create -f k8s/cloud_service.yaml
kubectl create -f k8s/cloud_ingress.yaml  # （可选，若不需要Jupyter notebook可省略）

访问平台

通过Kubernetes ingress IP地址或NodePort访问：

• 浏览器访问 http://<ingress-ip-address>
• 或 http://<任意节点IP地址>:<NodePort>

准备公共数据集

可创建Kubernetes Job准备包含RecordIO文件的公共云数据集，需根据环境修改YAML文件中的<DATACENTER>（集群数据中心）和<MONITOR_ADDR>（Ceph监控地址）：

bash
kubectl create -f k8s/prepare_dataset.yaml

不使用Docker本地运行

• 仍需Kubernetes集群
• 确保安装Python > 2.7.10，且支持OPENSSL 1.2（可通过以下命令检查）：

python
>>> import ssl
>>> ssl.OPENSSL_VERSION
'OpenSSL 1.0.2k  26 Jan 2017'

• 使用虚拟环境（如virtualenv或pyenv）：

bash
virtualenv paddlecloudenv
# 激活虚拟环境
source paddlecloudenv/bin/activate

首次运行

bash
cd paddlecloud
npm install
pip install -r requirements.txt
./manage.py migrate
./manage.py loaddata sites
npm run dev

访问 http://localhost:8000/

非首次运行

bash
./manage.py runserver

配置邮件发送

若要使用mail命令发送确认邮件，修改以下设置：

python
EMAIL_BACKEND = 'django_sendmail_backend.backends.EmailBackend'

使用mail命令时可能需要为Pod启用hostNetwork。

或使用Django SMTP绑定，详见Django邮件文档

使用命令行提交云训练任务

• 中文手册
• 英文教程（即将推出）