intel/deep-learning

AI Tools Preset Containers 镜像文档

镜像概述和主要用途

注意：该项目不再被Intel积极管理（PROJECT NOT UNDER ACTIVE MANAGEMENT），此镜像仓库将不再由Intel维护。

AI Tools Preset Containers为数据科学家和开发者提供即用型环境，适用于数据分析、数据处理、机器学习及深度学习任务。每个容器均包含针对特定任务定制的Python包和工具，尤其针对Intel架构进行了优化，可提升在Intel处理器和GPU上的运行性能。

核心功能和特性

预设容器类型

使用场景和适用范围

• 数据科学家：快速搭建机器学习模型开发和训练环境，利用Intel优化库提升训练效率
• AI开发者：部署深度学习模型，借助Intel扩展工具优化模型性能和部署速度
• 研究人员：在Intel架构硬件上进行高效的数据分析、模型实验和性能评估

使用方法和配置说明

前提条件

1. 安装Docker引擎：确保主机已安装Docker，可参考Docker官方安装指南。

2. 拉取预设容器：从AI Tools Selector或上述表格中选择容器并拉取。以下示例以“深度学习PyTorch* CPU”预设为例：

bash
docker pull intel/deep-learning:pytorch-latest-py311

运行预设容器

容器支持三种运行模式：

• Jupyter Notebook模式
• 交互式模式
• 多节点分布式训练模式（高级）（仅适用于深度学习PyTorch GPU容器）

注意：根据实际需求修改以下命令中的镜像名称、环境变量和GPU设备路径。

Jupyter Notebook模式

此模式启动JupyterLab笔记本服务器，可通过浏览器访问。容器内置Jupyter内核以支持conda环境，默认暴露8888端口。

注意：默认情况下，Docker使用bridge网络。若需从远程机器通过SSH访问服务器，需添加--net=host标志并配置本地端口转发（ssh -L 8888:8888）。

CPU环境运行

bash
docker run -it --rm \
    -p 8888:8888 --shm-size=12G \
    -v ${PWD}:/home/dev/workdir \
    intel/deep-learning:pytorch-latest-py3.11

注意：多线程应用可能需要更大的共享内存。Docker默认共享内存为64MB，可通过--shm-size参数调整（如示例中的12G）。

GPU环境运行

首先获取系统的RENDER和VIDEO组ID以启用Intel®数据中心GPU Flex/Max系列：

bash
RENDER=$(getent group render | sed -E 's,^render:[^:]*:([^:]*):.*$,\1,')
VIDEO=$(getent group video | sed -E 's,^video:[^:]*:([^:]*):.*$,\1,')
test -z "$RENDER" || RENDER_GROUP="--group-add ${RENDER}"
test -z "$VIDEO" || VIDEO_GROUP="--group-add ${VIDEO}"

然后运行容器：

bash
docker run -it --rm \
    ${RENDER_GROUP} \
    ${VIDEO_GROUP} \
    --device=/dev/dri \
    -p 8888:8888  --shm-size=12G \
    -v ${PWD}:/home/dev/workdir \
    -v /dev/dri/by-path:/dev/dri/by-path \
    intel/deep-learning:pytorch-gpu-latest-py3.11

后续步骤

1. 容器启动后，终端会显示Jupyter服务器地址（如http://127.0.0.1:8888）和登录token，通过浏览器访问该地址并使用token登录。

2. 在服务器目录中选择示例笔记本，例如intel/deep-learning:pytorch-latest-py3.11容器包含https://github.com/intel/ai-containers/blob/main/preset/deep-learning-pytorch/notebooks/Deep_Learning_Samples_Overview.ipynb%E3%80%82

3. 加载笔记本时，从下拉菜单选择对应内核：classical-ml（经典机器学习）、jax-cpu（JAX CPU）、pytorch-cpu（PyTorch CPU）或pytorch-gpu（PyTorch GPU）。

Jupyter服务器高级配置

可通过以下命令自定义Jupyter服务器配置（如端口、IP、权限），附加到上述docker run命令后：

bash
bash -c "jupyter notebook --notebook-dir=~/jupyter \
        --port 8888 \
        --ip 0.0.0.0 \
        --no-browser \
        --allow-root"

交互式模式

此模式提供交互式bash shell，可直接操作容器环境。

CPU环境运行

bash
docker run -it --rm \
    -p 8888:8888 --shm-size=12G \
    -v ${PWD}:/home/dev/workdir \
    intel/deep-learning:pytorch-latest-py3.11 bash

GPU环境运行

首先获取RENDER和VIDEO组ID（同GPU Jupyter模式），然后运行：

bash
docker run -it --rm \
    ${RENDER_GROUP} \
    ${VIDEO_GROUP} \
    --device=/dev/dri \
    -p 8888:8888 --shm-size=12G \
    -v ${PWD}:/home/dev/workdir \
    -v /dev/dri/by-path:/dev/dri/by-path \
    intel/deep-learning:pytorch-gpu-latest-py3.11 bash

注意：多线程应用需通过--shm-size调整共享内存大小（默认64MB可能不足）。

后续步骤

1. 激活对应环境内核：

   bash
   # 示例：激活PyTorch CPU环境
   conda activate pytorch-cpu
   

2. 运行sample-tests目录中的示例测试：

   bash
   python sample-tests/intel_extension_for_pytorch/test_ipex.py
   

   （test_ipex.py脚本使用预训练ResNet-50模型进行图像分类，支持CPU/XPU运行，可通过Intel® PyTorch扩展优化性能，输出100次推理的平均时间。）

注意：sample-tests目录内容因容器类型而异，部分测试可能使用bash脚本。

多节点分布式训练模式（高级）

仅适用于“深度学习PyTorch GPU”容器，详细步骤参考https://github.com/intel/ai-containers/tree/main/preset/deep-learning/demo/pytorch-distributed/README.md%E3%80%82

故障排除和支持

若使用容器时遇到问题，可参考https://github.com/intel/ai-containers#troubleshooting%E3%80%82%E5%A6%82%E9%9C%80%E8%BF%9B%E4%B8%80%E6%AD%A5%E5%B8%AE%E5%8A%A9%EF%BC%8C%E5%8F%AF%E6%8F%90%E4%BA%A4https://github.com/intel/ai-containers/issues%E3%80%82

*其他名称和品牌可能是其各自所有者的财产。商标信息