getwarped/all-spark-notebook

适用于OpenShift的Jupyter项目镜像

本仓库提供Jupyter项目镜像的修改版本，已修复相关问题以确保能在OpenShift上运行。

Jupyter项目通过其https://github.com/jupyter/docker-stacks和https://hub.docker.com/u/jupyter/提供Docker格式的容器镜像。但这些原版镜像无法在OpenShift的默认安全配置下运行，原因是尽管Jupyter项目尝试将镜像配置为非root用户运行，但在多租户PaaS环境中，用户容器会被强制使用与镜像指定UID不同的分配UID，导致运行失败。相关问题已通过GitHub项目https://github.com/jupyter/docker-stacks/issues/188，但尚未解决。

为使Jupyter项目镜像能在OpenShift上使用，本仓库提供了应用必要修复的派生镜像。这些镜像通过Docker Hub的自动构建功能创建，当Jupyter项目基础镜像更新时会自动重建。可在Docker Hub上获取以下镜像：

• https://hub.docker.com/r/getwarped/minimal-notebook/
• https://hub.docker.com/r/getwarped/scipy-notebook/
• https://hub.docker.com/r/getwarped/tensorflow-notebook/
• https://hub.docker.com/r/getwarped/datascience-notebook/
• https://hub.docker.com/r/getwarped/pyspark-notebook/
• https://hub.docker.com/r/getwarped/all-spark-notebook/
• https://hub.docker.com/r/getwarped/r-notebook/

在OpenShift中使用镜像

部署方法

要将特定类型的笔记本部署到OpenShift，可使用oc new-app命令：

bash
oc new-app getwarped/datascience-notebook --name experiments

也可通过Web控制台部署：从"添加到项目"中选择"部署镜像"选项卡，然后提供完整镜像名称。

文件管理

启动后，笔记本服务器镜像为空，需通过Jupyter Notebook界面上传笔记本和文件，或使用oc rsync将文件复制到运行中的容器，文件应复制到/home/jovyan/work目录。

安装额外Python包

可从Jupyter笔记本界面创建的终端窗口使用pip手动安装额外Python包，但需使用--user选项将包安装到用户本地目录。这是因为无法修复Jupyter基础镜像的权限，使其支持安装到主Python环境。

持久化数据

容器重启后，所有工作内容将丢失。因此建议为部署的笔记本服务器挂载持久卷，挂载路径同样为/home/jovyan/work。此持久卷仅用于存储笔记本和文件，重启后需重新安装Python包。建议构建包含所需额外Python包的自定义镜像，详见下文。

填充笔记本和文件

本仓库提供的Jupyter项目镜像版本已启用https://github.com/openshift/source-to-image构建功能，可用于将笔记本和文件构建到镜像中，无需手动上传即可部署。

创建S2I构建镜像

使用oc new-build命令创建镜像：

bash
oc new-build getwarped/minimal-notebook~https://github.com/getwarped/powershift.git --name powershift-testing --context-dir=notebooks

然后通过引用创建的镜像流名称使用oc new-app部署：

bash
oc new-build getwarped/minimal-notebook~https://github.com/getwarped/powershift.git --name powershift-testing --context-dir=notebooks

包含Python依赖

如果构建使用的源代码仓库包含Python pip的requirements.txt文件，文件中列出的所有额外Python模块将被安装到镜像中。

一步构建部署

若无需保留镜像，仅需一次性部署包含特定文件集的笔记本服务器，可使用oc new-app一步完成构建和部署：

bash
oc new-app getwarped/minimal-notebook~https://github.com/getwarped/powershift.git --name powershift-testing --context-dir=notebooks

临时实例与受控构建

Jupyter项目镜像有多种类型，除minimal-notebook外均为包含许多常用Python包的大型镜像。这适用于不确定所需包的临时笔记本服务器实例，但当需要额外包且需与他人共享工作时可能存在问题。

若需精确控制包含的包及其版本，可使用minimal-notebook作为S2I构建器，通过Python pip的requirements.txt文件构建自定义镜像。

Jupyter项目提供的minimal-notebook仅支持Python 3，若所需包不支持Python 3，或需在OpenShift下使用ipyparallel设置并行计算集群，建议使用getwarped项目提供的替代Jupyter笔记本镜像：

• https://github.com/getwarped/jupyter-notebooks

这些镜像提供Python 2和Python 3版本的最小Jupyter笔记本镜像，支持S2I，并基于Python的warpdrive镜像提供额外自定义构建和部署功能。该项目还提供OpenShift模板，便于通过OpenShift Web控制台构建和部署自定义Jupyter笔记本镜像，包括使用ipyparallel轻松启动并行计算集群。