ibmcom/poweraiPowerAI Docker镜像是IBM官方提供的容器化解决方案,专为利用IBM Power Systems加速服务器和x86_64平台服务器的独特能力而优化。该镜像集成了多种深度学习框架、支持库和工具,适用于人工智能模型的开发、训练与部署,支持GPU加速以提升计算性能。
PowerAI支持以下系统:
| 组件 | 版本 |
|---|---|
| Red Hat | 7.6 |
| Ubuntu | 18.04 |
| Docker | 1.13.1 |
| NVIDIA Docker | 2.0* |
| NVIDIA GPU驱动 | 440 |
*所有从1.5.4版本开始的PowerAI镜像需要nvidia-docker 2.0
如需将机器设置为使用PowerAI,请按照IBM知识中心中针对Red Hat或Ubuntu的说明进行操作:系统设置指南
该指南包含如何安装NVIDIA GPU驱动、Docker、nvidia-docker等内容。
Red Hat docker
bashdocker run -ti --env LICENSE=yes ibmcom/powerai:<tag> bash
docker-ce
bashnvidia-docker run -ti --env LICENSE=yes ibmcom/powerai:<tag> bash
如果计划在PyTorch中使用任何多处理器数据加载器,容器的默认共享内存段大小可能不够。可通过在docker run命令中添加--ipc=host或--shm-size选项来增加共享内存大小。
有关此问题的更多信息,请参阅PyTorch README的"Docker image"部分:PyTorch Docker说明
使用PowerAI容器前,必须接受所有包含组件的许可证。可通过以下方式查看许可证:
$HOME/.powerai/powerai-license/1.7.0/license接受许可证的方式:
--env LICENSE=yesaccept-powerai-license.shlatest - PowerAI 1.7.0和Anaconda(Python 3.7)<powerai-version>-<framework>-<cpu>-<OS>-<python>-<architecture>
powerai-version:镜像中安装的PowerAI版本(最新为1.7.0)
可用选项:1.5.2、1.5.3、1.5.4、1.6.0、1.6.1、1.6.2、1.7.0
framework:镜像中安装的框架(选项因版本而异)
可用选项:all、tensorflow(>=1.6.0)、tensorflow-serving(>=1.6.1)、pytorch(>=1.6.0)、caffe(>=1.6.0)、snap-ml(>=1.6.0,仅ppc64le;>=1.7.0,x86_64和ppc64le)、xgboost(>=1.6.1,仅ppc64le;>=1.6.2,x86_64和ppc64le)、rapids(>=1.6.2,仅ppc64le)
cpu:从PowerAI 1.6.1开始,提供仅CPU版本的深度学习框架,框架名称后附加-cpu
可用选项:all-cpu(>=1.6.1)、tensorflow-cpu(>=1.6.1)、caffe-cpu(>=1.6.1)、xgboost-cpu(>=1.6.1,仅ppc64le;>=1.6.2,x86_64和ppc64le)、pytorch-cpu(>=1.6.2)、tensorflow-serving-cpu(>=1.7.0)
os:镜像中的操作系统(选项因版本而异)
可用选项:ubuntu16.04(<1.6.0)、ubuntu18.04(>=1.6.0)
python:框架使用的Python版本
可用选项:py3(<=1.6.1)、<none>(Python 2,<=1.6.1)、py36(>=1.6.2)、py37(>=1.6.2)
architecture:从PowerAI 1.6.0开始,支持x86_64和ppc64le架构(选项因版本而异)
可用选项:ppc64le(>=1.6.0)、x86_64(>=1.6.0)、<none>(>=1.6.0,Docker将自动检测架构;<1.6.0,默认提供ppc64le版本)
1.7.0-pytorch-ubuntu18.04-py36:适用于请求机器架构、Python 3.6的PyTorch镜像1.7.0-all-ubuntu18.04-py37:适用于请求机器架构、Python 3.7的全框架镜像PowerAI提供多种深度学习框架、支持库和工具的软件包,各版本包含的组件如下表:
| 组件 | 1.5.2镜像 | 1.5.3镜像 | 1.5.4镜像 | 1.6.0镜像 | 1.6.1镜像 | 1.6.2镜像 | 1.7.0镜像 |
|---|---|---|---|---|---|---|---|
| 分布式深度学习(DDL) | 1.0.0 | 1.1.0 | 1.2.0 | 1.3.0 | 1.4.0 | 1.5.0 | 1.5.1 |
| TensorFlow | 1.8.0 | 1.10.0 | 1.12.0 | 1.13.1 | 1.14.0 | 1.15.0 | 2.1.0 |
| TensorFlow Probability | NA | NA | 0.5.0 | 0.6.0 | 0.7.0 | 0.8.0 | 0.9.0 |
| TensorFlow Estimator | NA | NA | NA | 1.13.0 | 1.14.0 | 1.15.1 | 2.1.0 |
| TensorFlow Serving | NA | NA | NA | NA | 1.14.0 | 1.15.0 | 2.1.0 |
| TensorRT | NA | NA | NA | NA | 5.1.3.6 | 6.0.1.5 | 7.0.0.11 |
| TensorBoard | 1.8.0 | 1.10.0 | 1.12.0 | 1.13.0 | 1.14.0 | 1.15.0 | 2.1.0 |
| IBM Caffe | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0_1.6.2 | 1.0_1.7.0 |
| BVLC Caffe | 1.0.0 | 1.0.0 | 1.0.0 | NA | NA | NA | NA |
| Caffe2 | NA | NA | 1.0rc1 | 1.0.1 | 1.1.0 | 1.2.0 | 1.3.1 |
| snap-ml | 1.0.0 | 1.0.0 | NA | NA | NA | NA | 1.6.0 |
| snapml-spark | NA | NA | 1.0.0 | 1.2.0 | 1.3.0 | 1.4.0 | 1.6.0 |
| pai4sk | NA | NA | 1.0.0 | 1.3.0 | 1.4.0 | 1.5.0 | 1.6.0 |
| xgboost | NA | NA | NA | NA | 0.82 | 0.90 | 0.90 |
| Spectrum MPI | 10.2 | 10.2 | 10.2 | 10.2 | 10.03 | 10.03 | 10.03 |
| OpenBLAS | 0.2.20 | 0.3.2 | 0.3.3 | 0.2.20 | 0.2.20 | 0.3.6 | 0.3.6 |
| Protobuf | 3.4.0 | 3.4.0 | 3.6.1 | 3.6.1 | 3.7.1 | 3.8.0 | 3.8.0 |
| ONNX | NA | NA | 1.3.0 | 1.3.0 | 1.5.0 | 1.5.0 | 1.6.0 |
| Rapids cuDF | NA | NA | NA | 0.2.0 | 0.7.2 | 0.9.0 | 0.11.0 |
| Rapids cuML | NA | NA | NA | 0.2.0 | 0.7.0 | 0.9.1 | 0.11.0 |
| apex | NA | NA | NA | NA | NA | 0.1.0_1.6.2 | 0.1.0_1.7.0 |
| dask | NA | NA | NA | NA | NA | 2.3.0 | 2.9.2 |
| dask-xgboost | NA | NA | NA | NA | NA | 0.1.7 | 0.1.9 |
| arrow-cpp | NA | NA | NA | NA | 0.12.1 | 0.14.1 | 0.15.1 |
| horovod | NA | NA | NA | NA | NA | NA | 0.19.0 |
| pytorch | 0.4.0 | 0.4.1 | 1.0rc1 | 1.0.1 | 1.1.0 | 1.2.0 | 1.3.1 |
| CUDA | 9.2.88 | 9.2.148 | 10.0.130 | 10.1 | 10.1 | 10.1 | 10.2 |
| cuDNN | 7.1.4 | 7.2.1 | 7.3.1 | 7.5 | 7.5 | 7.6.3 | 7.6.5 |
| NCCL | 2.2.12 | 2.2.13 | 2.3.5 | 2.4.2 | 2.4.7 | 2.4.8 | 2.5.6 |
| conda | 4.5.11 | 4.5.11 | 4.5.11 | 4.5.11 | 4.6.14 | 4.7.12 | 4.8.1 |
| Ubuntu | 16.04 | 16.04 | 18.04 | 18.04 | 18.04 | 18.04 | 18.04 |
为满足云用户需求并遵循最小权限原则,镜像中的默认用户为pwrai。
pwrai的uid:gid为2051:2051,并配置了无密码sudo权限。
如需使用root用户,可在运行时通过Docker参数--user root启用。
出于安全考虑,建议利用Docker命名空间,详情参考:Docker用户命名空间
请参考"MLDL框架入门"页面:MLDL框架使用指南
PowerAI TensorFlow-Serving Docker容器基于TensorFlow提供的tensorflow/serving容器构建。因此,所有TensorFlow Serving的Docker文档均适用于PowerAI TensorFlow Serving镜像,只需将文档中的tensorflow/serving替换为ibmcom/powerai:<powerai-version>-tensorflow-serving-ubuntu18.04-<py36/py37>(GPU版本)或ibmcom/powerai:<powerai-version>-tensorflow-serving-cpu-ubuntu18.04-<py36/py37>(CPU版本)。
CUDA工具包
查看本镜像中包含的CUDA工具包许可证:CUDA许可证
CUDA深度神经网络库(cuDNN)
查看本镜像中包含的cuDNN许可证:cuDNN许可证
Anaconda用户许可证可查看:Anaconda EULA
Anaconda下已安装的Python包列表可通过pip show <packagename> | grep License:查看。
要查看特定Python包的许可证,请访问pip show <packagename> | grep Home-page:显示的包官网。
Ubuntu(
探索更多轩辕镜像的使用方法,找到最适合您系统的配置方式
通过 Docker 登录认证访问私有仓库
无需登录使用专属域名
Kubernetes 集群配置 Containerd
K3s 轻量级 Kubernetes 镜像加速
VS Code Dev Containers 配置
Podman 容器引擎配置
HPC 科学计算容器配置
ghcr、Quay、nvcr 等镜像仓库
Harbor Proxy Repository 对接专属域名
Portainer Registries 加速拉取
Nexus3 Docker Proxy 内网缓存
需要其他帮助?请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
manifest unknown
no matching manifest(架构)
invalid tar header(解压)
TLS 证书失败
DNS 超时
410 Gone 排查
402 与流量用尽
401 认证失败
429 限流
D-Bus 凭证提示
413 与超大单层
来自真实用户的反馈,见证轩辕镜像的优质服务