intel/data-analytics

【重要提示】 该项目未处于积极管理中。此镜像仓库将不再由Intel维护。

AI工具预设容器

AI工具预设容器为数据科学家和开发者提供即用型环境，适用于数据分析、数据处理、机器学习和深度学习等任务。每个容器包含针对特定任务定制的Python*包和工具。详情如下表所示。

预设容器

前提条件

1. 确保机器上已安装Docker。按照此处说明在主机上安装Docker引擎。

2. 从AI工具选择器或表格中拉取所选预设容器。以下命令以“深度学习PyTorch* CPU”预设为例：

bash
docker pull intel/deep-learning:pytorch-latest-py311

运行预设容器

这些容器有三种运行模式：

• Jupyter Notebook
• 交互模式
• 多节点分布式训练（深度学习PyTorch GPU）

注意：根据您的使用场景修改以下命令，包括镜像、环境变量和GPU设备路径。

使用Jupyter Notebook运行

此模式启动JupyterLab笔记本服务器，可通过Web浏览器访问。每个容器包含Jupyter内核，用于在Jupyter笔记本中启用conda环境。服务器端口为8888，运行容器时默认暴露此端口。

注意：通过这种方式启动Jupyter笔记本服务器时，Docker会分配一个网络，允许容器与其他应用（如Web浏览器）通信。默认情况下，Docker使用bridge网络。如果尝试通过SSH从远程机器访问此服务器，请使用--net=host标志更改网络模式，并通过ssh -L 8888:8888启用本地端口转发。

在CPU上运行Jupyter

bash
docker run -it --rm \
    -p 8888:8888 --shm-size=12G \
    -v ${PWD}:/home/dev/workdir \
    intel/deep-learning:pytorch-latest-py3.11

注意：某些应用使用共享内存在进程间共享数据。Docker容器的默认共享内存段大小为64MB，可能不足以满足多线程应用需求。使用--shm-size增加共享内存大小。

在GPU上运行Jupyter

识别系统的RENDER和VIDEO组值以启用Intel®数据中心GPU Flex/Max系列：

bash
RENDER=$(getent group render | sed -E 's,^render:[^:]*:([^:]*):.*$,\1,')
VIDEO=$(getent group video | sed -E 's,^video:[^:]*:([^:]*):.*$,\1,')
test -z "$RENDER" || RENDER_GROUP="--group-add ${RENDER}"
test -z "$VIDEO" || VIDEO_GROUP="--group-add ${VIDEO}"

运行容器：

bash
docker run -it --rm \
    ${RENDER_GROUP} \
    ${VIDEO_GROUP} \
    --device=/dev/dri \
    -p 8888:8888  --shm-size=12G \
    -v ${PWD}:/home/dev/workdir \
    -v /dev/dri/by-path:/dev/dri/by-path \
    intel/deep-learning:pytorch-gpu-latest-py3.11

后续步骤

1. 运行命令后，终端应显示类似下图的输出 !https://github.com/intel/ai-containers/assets/***/0a8a2d05-f7b0-4a9f-994e-bcc4e4b703a0%E3%80%82%E4%BD%BF%E7%94%A8%E6%98%BE%E7%A4%BA%E7%9A%84%E6%9C%8D%E5%8A%A1%E5%99%A8%E5%9C%B0%E5%9D%80%E5%92%8C%E7%AB%AF%E5%8F%A3%EF%BC%88%E4%BE%8B%E5%A6%82%60http://127.0.0.1:8888%60%EF%BC%89%E5%9C%A8Web%E6%B5%8F%E8%A7%88%E5%99%A8%E4%B8%AD%E8%BF%9E%E6%8E%A5Jupyter%E6%9C%8D%E5%8A%A1%E5%99%A8%E3%80%82%60token=%60%E5%90%8E%E7%9A%84%E4%BB%A4%E7%89%8C%E5%8F%AF%E7%94%A8%E4%BD%9C%E7%99%BB%E5%BD%95%E5%AF%86%E7%A0%81%E3%80%82%E4%BE%8B%E5%A6%82%EF%BC%8C%E4%B8%8A%E5%9B%BE%E4%B8%AD%E7%9A%84%E4%BB%A4%E7%89%8C%E4%B8%BA%60b66e74a85bc2570bf15782e5124c933c3a4ddabd2cf2d7d3%60%E3%80%82

2. 从启动服务器的目录中的概述笔记本中选择笔记本示例。在此示例中，intel/deep-learning:pytorch-latest-py3.11容器在Jupyter模式下启动时，包含名为https://github.com/intel/ai-containers/blob/main/preset/deep-learning-pytorch/notebooks/Deep_Learning_Samples_Overview.ipynb%E7%9A%84%E7%AC%94%E8%AE%B0%E6%9C%AC%E3%80%82

3. 选择笔记本示例后，加载笔记本时从下拉菜单中选择适当的内核。每个容器都有一个带有环境名称的内核：classical-ml、jax-cpu、pytorch-cpu和pytorch-gpu。

高级Jupyter服务器配置

通过以下默认示例修改笔记本服务器命令，通过将其附加到上述Docker运行命令来更改网络（端口/IP）和安全（权限）设置：

bash
docker run ... intel/deep-learning:pytorch-latest-py3.11 \
    bash -c "jupyter notebook --notebook-dir=~/jupyter \
            --port 8888 \
            --ip 0.0.0.0 \
            --no-browser \
            --allow-root"

以交互模式运行

此模式提供交互式shell，用于直接在容器的bash环境中工作。使用以下命令以交互模式启动容器：

在CPU上运行

bash
docker run -it --rm \
    -p 8888:8888 --shm-size=12G \
    -v ${PWD}:/home/dev/workdir \
    intel/deep-learning:pytorch-latest-py3.11 bash

在GPU上运行

识别系统的RENDER和VIDEO组值以启用Intel®数据中心GPU Flex/Max系列：

bash
RENDER=$(getent group render | sed -E 's,^render:[^:]*:([^:]*):.*$,\1,')
VIDEO=$(getent group video | sed -E 's,^video:[^:]*:([^:]*):.*$,\1,')
test -z "$RENDER" || RENDER_GROUP="--group-add ${RENDER}"
test -z "$VIDEO" || VIDEO_GROUP="--group-add ${VIDEO}"

bash
docker run -it --rm \
    ${RENDER_GROUP} \
    ${VIDEO_GROUP} \
    --device=/dev/dri \
    -p 8888:8888 --shm-size=12G \
    -v ${PWD}:/home/dev/workdir \
    -v /dev/dri/by-path:/dev/dri/by-path \
    intel/deep-learning:pytorch-gpu-latest-py3.11 bash

注意：某些应用使用共享内存在进程间共享数据。Docker容器的默认共享内存段大小为64MB，可能不足以满足多线程应用需求。使用--shm-size增加共享内存大小。

后续步骤

1. 每个容器都有一个带有环境名称的内核：classical-ml、jax、pytorch-cpu和pytorch-gpu。使用以下命令在深度学习PyTorch* CPU预设中激活pytorch-cpu环境：

   bash
   conda activate pytorch-cpu
   

2. 从sample-tests文件夹中选择测试，并使用以下命令运行（示例）：

   bash
   python sample-tests/intel_extension_for_pytorch/test_ipex.py
   

   test_ipex.py脚本使用PyTorch通过预训练的ResNet-50模型对图像进行分类。用户可以指定在CPU还是XPU上运行脚本，并可选择使用英特尔® PyTorch扩展应用优化。脚本将模型和数据传输到所选设备，然后测量100次运行的平均推理时间（排除初始预热阶段），最后打印平均推理时间。

注意：sample-tests文件夹因容器而异。某些测试使用bash脚本。

以多节点分布式模式运行 [高级]

分别按照https://github.com/intel/ai-containers/tree/main/preset/deep-learning/demo/pytorch-distributed/README.md%E7%9A%84%E8%AF%B4%E6%98%8E%EF%BC%8C%E4%BD%BF%E7%94%A8%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0PyTorch* GPU预设。

故障排除与支持

如果使用容器时遇到任何问题，请参考https://github.com/intel/ai-containers#troubleshooting%E3%80%82%E5%A6%82%E9%9C%80%E5%85%B6%E4%BB%96%E5%B8%AE%E5%8A%A9%EF%BC%8C%E5%8F%AF%E6%8F%90%E4%BA%A4https://github.com/intel/ai-containers/issues%E3%80%82

*其他名称和品牌可能是他人的财产。商标