ratnaksha/rlele_research

为DataHub/DSMLP构建自定义镜像指南

本文档面向高级DSMLP用户（包括学生和教师），旨在指导如何通过自定义Docker容器在工作环境中添加或修改应用程序。

对于支持CUDA的镜像，请切换到cuda-10.1https://github.com/ucsd-ets/datahub-example-notebook/tree/cuda10.1%E8%8E%B7%E5%8F%96%E6%9B%B4%E5%A4%9A%E4%BF%A1%E6%81%AF%E3%80%82

简介

Docker镜像是打包了应用程序、依赖项和底层操作系统的快照。用户可在任何运行Docker平台的机器上使用相同的Docker镜像，并获得一致的软件功能和行为。DockerHub是公共容器 registry，可用于下载（"pull"）和上传（"push"）Docker镜像，类似于GitHub托管git仓库的方式。本指南将通过修改Dockerfile设计自定义Docker镜像，构建镜像并发布到DockerHub。

构建和维护Docker镜像遵循三个基本步骤：构建、共享和部署/测试。可能需要多次重复这些步骤，直至达到预期效果。Docker官方教程展示了通用案例，本文档则专为DSMLP用户定制。

步骤0：先决条件

• 使用本模板创建新的GitHub git仓库（点击右上角"Use this template"），或在现有仓库的根目录添加Dockerfile。
• Docker Hub账户：在https://hub.docker.com/注册，用于发布新镜像和配置自动构建。
• DockerHub上的新公共仓库：名称不必与git仓库相同。

步骤1：自定义Dockerfile

• 通过取消注释设置BASE_CONTAINER参数的对应行选择基础容器：

  • UCSD EdTech Services维护的标准Datahub/DSMLP容器概述
  • datascience-notebook基础镜像包含conda和数据科学基础Python包（pandas、scipy、matplotlib），基于miniconda。
  • scipy-ml镜像包含更广泛的包（如tensorflow、pytorch），支持CUDA 10，通常用于GPU加速工作流。
  • 注意：尽管scipy-ml功能更丰富，但构建过程可能更长，生成的镜像体积更大。

• 使用USER root获取root权限以安装系统包（已预先添加）。

• 使用apt-get安装系统级包：

  • 第19行示例安装系统工具htop。
  • 可指定多个包：apt-get -y install htop ping。

• 安装conda包：

  • 使用RUN conda install --yes <package1> <package2>一次性安装所有所需conda包。
  • （可选）使用RUN conda clean -tipy减小镜像体积。
  • 建议：仅使用conda安装必要的包，因为conda解析依赖关系比pip耗时更长。

• 安装pip包：

  • 使用pip install --no-cache-dir <package>。
  • 可在同一命令中指定多个pip包。

• 保留Dockerfile其余部分不变。

步骤2：构建镜像

本步骤将使用创建的Dockerfile构建镜像，有两种方式：

1. 本地构建并推送到DockerHub：需在本地Windows PC/Mac安装Docker Desktop，或在Linux安装Docker Engine。
2. 使用DockerHub免费自动构建服务：由DockerHub自动构建和分发镜像。建议尝试两种方式，便于调试和缩短成功构建的周转时间。若不想在本地安装Docker，可通过https://education.github.com/pack%E8%8E%B7%E5%8F%96$50 DigitalOcean credit，在那里启动Docker Droplet。

选项1：使用Docker Desktop/Docker Engine

• 安装Docker后，打开终端并导航到包含Dockerfile的git目录。
• 执行docker build -t test .：Docker将根据本地Dockerfile构建镜像，标记为test。若构建失败，记录Docker最后运行的命令并开始调试，编辑Dockerfile后重新运行命令。
• 构建成功后，使用docker run --rm -it test /bin/bash进入容器测试功能。使用exit退出后容器将自动删除。
• （若同时使用选项2，此步骤可选）在本地Docker实例登录DockerHub，重新标记镜像：docker tag test <dockerhub-username>/<dockerhub-repo>，然后推送：docker push <dockerhub-username>/<dockerhub-repo>。
• 另一种无需修改Dockerfile修改镜像的方法：通过docker run -it test /bin/bash启动持久容器，使用CTRL+P-Q分离，通过docker ps找到运行中的容器，执行docker commit CONTAINER_ID <dockerhub-username>/<dockerhub-repo>，然后docker push <dockerhub-username>/<dockerhub-repo>。

选项2：在DockerHub设置自动构建

• 将本地更改提交并推送到GitHub。
• 链接GitHub账户到DockerHub：说明。
• 设置自动构建：说明。注意默认构建规则的源分支设为master，而GitHub默认分支已更改为main。
• 等待构建完成：复杂构建在工作时间可能需要长达2小时。需定期刷新DockerHub页面查看状态（完成后不会自动刷新）。

步骤3：在DSMLP上启动Pod

• SSH登录dsmlp-login.ucsd.edu。
• 执行launch-scipy-ml.sh -i <dockerhub-username>/<dockerhub-repo> -P Always：-P标志强制docker主机同步最新镜像清单。注意：Docker镜像名称格式为<user>/<image>:<tag>，若未指定:<tag>，默认使用:latest。在构建步骤中使用v1或test等标签可控制同一镜像的不同版本。
• 等待节点下载镜像：下载时间取决于镜像大小。
• 若启动超时/失败，检查kubectl logs <pod-name>或联系ETS服务台寻求帮助。

提示

• 若在一天内重复使用Pod或与少数人共享自定义镜像，可通过添加-n <node-number>到启动命令末尾，使用同一节点减少启动时间（无需重复下载）。
• 要禁用进入时启动Jupyter Notebook，可在Dockerfile最后一行添加CMD ["/bin/bash"]覆盖默认可执行文件。也可手动在dsmlp-login上启动Notebook并端口转发：kubectl port-forward pods/<POD_NAME> <DSMLP_PORT>:8888。

资源/延伸阅读

• DSMLP知识库文章
• Dockerfile最佳实践
• Docker速查表（pdf）
• 本指南原始版本