rapidsai/rapidsai-nightly

[NIGHTLY] RAPIDS - 开源GPU数据科学

弃用通知

从RAPIDS v23.08版本开始，此Docker仓库已弃用。

• base类型镜像已替换为 https://hub.docker.com/r/rapidsai/base
• runtime类型镜像已替换为 https://hub.docker.com/r/rapidsai/notebooks
• devel类型镜像不再支持

有关完整的更改列表，请参见 https://github.com/rapidsai/docker/issues/539%E3%80%82

重要提示： 如需最新稳定版本，请使用 https://hub.docker.com/r/rapidsai/rapidsai 容器。

什么是RAPIDS？

访问 rapids.ai 了解更多信息。

RAPIDS软件库套件让您能够完全在GPU上执行端到端的数据科学和分析管道。它依赖NVIDIA® CUDA®原语进行底层计算优化，但通过用户友好的Python接口公开GPU并行性和高带宽内存速度。

注意： 请查看下面的先决条件部分，确保您的系统满足RAPIDS的最低要求。

什么是RAPIDS NIGHTLY镜像？

rapidsai/rapidsai-nightly仓库包含RAPIDS的夜间Docker构建，包含当天合并到GitHub仓库的最新WIP（工作进行中）更改，用于下一个RAPIDS版本。这些容器通常被认为是不稳定的，仅应用于开发和测试。如需最新稳定版本，请使用 https://hub.docker.com/r/rapidsai/rapidsai 容器。

RAPIDS NIGHTLY v23.08a

23.08镜像中包含的库版本：

• cuDF https://github.com/rapidsai/cudf%E3%80%81%60cuML%60 https://github.com/rapidsai/cuml%E3%80%81%60cuGraph%60 https://github.com/rapidsai/cugraph%E3%80%81%60RMM%60 https://github.com/rapidsai/RMM%E3%80%81%60RAFT%60 https://github.com/rapidsai/raft%E3%80%81%60cuSpatial%60 https://github.com/rapidsai/cuspatial%E3%80%81%60cuSignal%60 https://github.com/rapidsai/cusignal%E3%80%81%60cuxfilter%60 https://github.com/rapidsai/cuxfilter

• dask-sql https://github.com/dask-contrib/dask-sql%E3%80%81%60xgboost%60 https://github.com/rapidsai/xgboost%E3%80%81%60dask-cuda%60 https://github.com/rapidsai/dask-cuda

镜像类型

RAPIDS镜像基于 https://hub.docker.com/r/nvidia/cuda%EF%BC%8C%E6%97%A8%E5%9C%A8%E4%BD%9C%E4%B8%BA%E7%9B%B8%E5%BA%94CUDA%E9%95%9C%E5%83%8F%E7%9A%84%E5%8D%B3%E6%8F%92%E5%8D%B3%E7%94%A8%E6%9B%BF%E4%BB%A3%E5%93%81%EF%BC%8C%E4%BB%A5%E4%BE%BF%E5%9C%A8%E4%BF%9D%E6%8C%81%E5%AF%B9%E7%8E%B0%E6%9C%89CUDA%E5%BA%94%E7%94%A8%E7%A8%8B%E5%BA%8F%E6%94%AF%E6%8C%81%E7%9A%84%E5%90%8C%E6%97%B6%E8%BD%BB%E6%9D%BE%E6%B7%BB%E5%8A%A0RAPIDS%E5%BA%93%E3%80%82

RAPIDS镜像分为三种类型，分布在两个不同的仓库中：

本仓库（rapidsai-nightly）包含以下类型：

• base - 包含可直接使用的RAPIDS环境。
  • 提示：如果您想将RAPIDS作为管道的一部分使用，请使用此镜像。
• runtime - 扩展base镜像，添加了Notebook服务器和示例Notebook。
  • 提示：如果您想通过Notebook和示例探索RAPIDS，请使用此镜像。

https://hub.docker.com/r/rapidsai/rapidsai-dev-nightly/tags%E4%BB%93%E5%BA%93%E5%8C%85%E5%90%AB%E4%BB%A5%E4%B8%8B%E7%B1%BB%E5%9E%8B%EF%BC%9A

• devel - 包含完整的RAPIDS源代码树，预构建了所有工件，以及编译器工具链、调试工具、头文件和静态库，用于RAPIDS开发。
  • 提示：使用此镜像从源代码开发RAPIDS。

镜像标签命名方案

RAPIDS镜像的标签命名方案将关键平台详细信息整合到标签中，如下所示：

23.08-cuda11.8-runtime-ubuntu22.04-py3.10
 ^       ^    ^        ^         ^
 |       |    类型     |         Python版本
 |       |             |
 |       CUDA版本      |
 |                     |
 RAPIDS版本            Linux版本

要获取特定平台组合的最新RAPIDS版本，只需排除RAPIDS版本。例如，要拉取支持CUDA 11.8、Python 3.10和Ubuntu 22.04的runtime镜像的最新版本，请使用以下标签：

cuda11.8-runtime-ubuntu22.04-py3.10

许多用户不需要特定的平台组合，但希望确保获得最新版本的RAPIDS，因此作为额外便利，还提供了一个名为latest的标签，等效于cuda11.8-runtime-ubuntu22.04-py3.10。

先决条件

• NVIDIA Pascal™ GPU架构或更高版本
• CUDA 11.2/11.4/11.5/11.8 及兼容的NVIDIA驱动程序
• Ubuntu 20.04/22.04 或 CentOS 7 或 Rocky Linux 8
• Docker CE v18+
• nvidia-container-toolkit

使用方法

启动容器和Notebook服务器

推荐 - Docker CE v19+ 和 nvidia-container-toolkit

bash
$ docker pull rapidsai/rapidsai-nightly:23.08-cuda11.8-runtime-ubuntu22.04-py3.10
$ docker run --gpus all --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 \
         rapidsai/rapidsai-nightly:23.08-cuda11.8-runtime-ubuntu22.04-py3.10

旧版 - Docker CE v18 和 nvidia-docker2

bash
$ docker pull rapidsai/rapidsai-nightly:23.08-cuda11.8-runtime-ubuntu22.04-py3.10
$ docker run --runtime=nvidia --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 \
         rapidsai/rapidsai-nightly:23.08-cuda11.8-runtime-ubuntu22.04-py3.10

容器端口

以下端口仅由**runtime容器**使用（base容器不适用）：

• 8888 - 暴露 JupyterLab Notebook服务器
• 8786 - 暴露 Dask 调度器
• 8787 - 暴露 Dask 诊断Web服务器

环境变量

以下环境变量可传递给docker run命令：

• DISABLE_JUPYTER - 设置为true以禁用默认Jupyter服务器启动（不适用于base镜像）
• JUPYTER_FG - 设置为true以在前台而非后台启动Jupyter服务器（不适用于base镜像）
• EXTRA_APT_PACKAGES - （仅Ubuntu镜像）用于在容器中安装额外的apt包。使用空格分隔的值列表
• APT_TIMEOUT - （仅Ubuntu镜像）apt命令应等待的时间（秒）
• EXTRA_YUM_PACKAGES - （仅CentOS镜像）用于在容器中安装额外的yum包。使用空格分隔的值列表
• YUM_TIMEOUT - （仅CentOS镜像）yum命令应等待的时间（秒）
• EXTRA_CONDA_PACKAGES - 用于在容器中安装额外的conda包。使用空格分隔的值列表
• CONDA_TIMEOUT - conda命令应等待的时间（秒）
• EXTRA_PIP_PACKAGES - 用于在容器中安装额外的pip包。使用空格分隔的值列表
• PIP_TIMEOUT - pip命令应等待的时间（秒）

示例：

sh
$ docker run \
    --rm \
    -it \
    --gpus all \
    -e EXTRA_APT_PACKAGES="vim nano" \
    -e EXTRA_CONDA_PACKAGES="jq" \
    -e EXTRA_PIP_PACKAGES="beautifulsoup4" \
    -p 8888:8888 \
    -p 8787:8787 \
    -p 8786:8786 \
    rapidsai/rapidsai-nightly:23.08-cuda11.8-runtime-ubuntu22.04-py3.10

绑定挂载

将文件/文件夹挂载到以下位置可为镜像提供额外功能。

• /opt/rapids/environment.yml - 包含conda要安装的依赖项列表的YAML文件。文件应如下所示：

yml
dependencies:
  - beautifulsoup4
  - jq

示例：

sh
$ docker run \
    --rm \
    -it \
    --gpus all \
    -v $(pwd)/environment.yml:/opt/rapids/environment.yml \
    rapidsai/rapidsai-nightly:23.08-cuda11.8-runtime-ubuntu22.04-py3.10

使用JupyterLab探索Notebook

在23.08容器中，Notebook可在以下目录中找到（base镜像不适用）：

• /rapids/notebooks/cugraph - cuGraph演示Notebook
• /rapids/notebooks/cuml - cuML演示Notebook
• /rapids/notebooks/cusignal - cuSignal演示Notebook
• /rapids/notebooks/cuxfilter - cuXfilter演示Notebook
• /rapids/notebooks/cuspatial - cuSpatial演示Notebook
• /rapids/notebooks/xgboost - XGBoost演示Notebook

有关每个Notebook的完整说明，请参见Notebooks仓库中的https://github.com/rapidsai/notebooks/blob/branch-23.08/README.md%E3%80%82

扩展RAPIDS镜像

所有RAPIDS镜像都使用conda作为包管理器，所有RAPIDS包（包括源代码构建的）都在rapids conda环境中可用。如果要扩展RAPIDS镜像（例如使用FROM），则在Dockerfile的所有RUN命令开头必须包含source activate rapids。否则，Docker构建上下文将无法访问RAPIDS库，因为默认使用base环境。可在GitHub上的https://github.com/rapidsai/docker%E4%B8%AD%E7%9A%84Dockerfile%E4%B8%AD%E6%89%BE%E5%88%B0%E6%AD%A4%E7%B1%BB%E7%A4%BA%E4%BE%8B%E3%80%82

自定义数据和高级用法

您可以自由修改上述步骤。例如，您可以使用自己的数据启动交互式会话：

推荐 - Docker CE v19+ 和 nvidia-container-toolkit

bash
$ docker run --gpus all --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 \
         -v /path/to/host/data:/rapids/my_data \
         rapidsai/rapidsai-nightly:23.08-cuda11.8-runtime-ubuntu22.04-py3.10

旧版 - Docker CE v18 和 nvidia-docker2

bash
$ docker run --runtime=nvidia --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 \
         -v /path/to/host/data:/rapids/my_data \
         rapidsai/rapidsai-nightly:23.08-cuda11.8-runtime-ubuntu22.04-py3.10

这会将主机操作系统的数据映射到容器操作系统的/rapids/my_data目录。您可能需要修改提供的Notebook以适应新的数据路径。

在Notebook中访问文档

您可以在JupyterLab Notebook中使用?命令查看RAPIDS API的文档，如下所示：

[1] ?cudf.read_csv

这将打印函数签名及其使用文档。如果这还不够，您可以使用??查看函数的完整代码：

[1] ??pygdf.read_csv

有关更详细的信息和RAPIDS 速查表，请查看RAPIDS 文档。

更多信息

查看 RAPIDS 和 XGBoost API文档。

通过遵循https://github.com/rapidsai/notebooks%EF%BC%8C%E4%BA%86%E8%A7%A3%E5%A6%82%E4%BD%95%E8%AE%BE%E7%BD%AE%E5%A4%9A%E8%8A%82%E7%82%B9cuDF%E5%92%8CXGBoost%E6%95%B0%E6%8D%AE%E5%87%86%E5%A4%87%E5%8F%8A%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%AD%E7%BB%83%E7%8E%AF%E5%A2%83%E3%80%82

在哪里可以获得帮助或提交错误/请求？

请将容器相关问题提交到此GitHub仓库：https://github.com/rapidsai/docker/issues/new

对于cuDF、cuML、RMM等RAPIDS库的问题，请在相关GitHub项目中提交issue。

其他帮助可在 Stack Overflow 或 Google Groups 上找到。