getwarped/all-spark-notebook

适用于OpenShift的Jupyter项目镜像

本仓库提供Jupyter项目镜像的修改版本，已修复相关问题以确保能在OpenShift上运行。

Jupyter项目通过其https://github.com/jupyter/docker-stacks%E5%92%8Chttps://hub.docker.com/u/jupyter/%E6%8F%90%E4%BE%9BDocker%E6%A0%BC%E5%BC%8F%E7%9A%84%E5%AE%B9%E5%99%A8%E9%95%9C%E5%83%8F%E3%80%82%E4%BD%86%E8%BF%99%E4%BA%9B%E5%8E%9F%E7%89%88%E9%95%9C%E5%83%8F%E6%97%A0%E6%B3%95%E5%9C%A8OpenShift%E7%9A%84%E9%BB%98%E8%AE%A4%E5%AE%89%E5%85%A8%E9%85%8D%E7%BD%AE%E4%B8%8B%E8%BF%90%E8%A1%8C%EF%BC%8C%E5%8E%9F%E5%9B%A0%E6%98%AF%E5%B0%BD%E7%AE%A1Jupyter%E9%A1%B9%E7%9B%AE%E5%B0%9D%E8%AF%95%E5%B0%86%E9%95%9C%E5%83%8F%E9%85%8D%E7%BD%AE%E4%B8%BA%E9%9D%9Eroot%E7%94%A8%E6%88%B7%E8%BF%90%E8%A1%8C%EF%BC%8C%E4%BD%86%E5%9C%A8%E5%A4%9A%E7%A7%9F%E6%88%B7PaaS%E7%8E%AF%E5%A2%83%E4%B8%AD%EF%BC%8C%E7%94%A8%E6%88%B7%E5%AE%B9%E5%99%A8%E4%BC%9A%E8%A2%AB%E5%BC%BA%E5%88%B6%E4%BD%BF%E7%94%A8%E4%B8%8E%E9%95%9C%E5%83%8F%E6%8C%87%E5%AE%9AUID%E4%B8%8D%E5%90%8C%E7%9A%84%E5%88%86%E9%85%8DUID%EF%BC%8C%E5%AF%BC%E8%87%B4%E8%BF%90%E8%A1%8C%E5%A4%B1%E8%B4%A5%E3%80%82%E7%9B%B8%E5%85%B3%E9%97%AE%E9%A2%98%E5%B7%B2%E9%80%9A%E8%BF%87GitHub%E9%A1%B9%E7%9B%AEhttps://github.com/jupyter/docker-stacks/issues/188%EF%BC%8C%E4%BD%86%E5%B0%9A%E6%9C%AA%E8%A7%A3%E5%86%B3%E3%80%82

为使Jupyter项目镜像能在OpenShift上使用，本仓库提供了应用必要修复的派生镜像。这些镜像通过Docker Hub的自动构建功能创建，当Jupyter项目基础镜像更新时会自动重建。可在Docker Hub上获取以下镜像：

• https://hub.docker.com/r/getwarped/minimal-notebook/
• https://hub.docker.com/r/getwarped/scipy-notebook/
• https://hub.docker.com/r/getwarped/tensorflow-notebook/
• https://hub.docker.com/r/getwarped/datascience-notebook/
• https://hub.docker.com/r/getwarped/pyspark-notebook/
• https://hub.docker.com/r/getwarped/all-spark-notebook/
• https://hub.docker.com/r/getwarped/r-notebook/

在OpenShift中使用镜像

部署方法

要将特定类型的笔记本部署到OpenShift，可使用oc new-app命令：

bash
oc new-app getwarped/datascience-notebook --name experiments

也可通过Web控制台部署：从"添加到项目"中选择"部署镜像"选项卡，然后提供完整镜像名称。

文件管理

启动后，笔记本服务器镜像为空，需通过Jupyter Notebook界面上传笔记本和文件，或使用oc rsync将文件复制到运行中的容器，文件应复制到/home/jovyan/work目录。

安装额外Python包

可从Jupyter笔记本界面创建的终端窗口使用pip手动安装额外Python包，但需使用--user选项将包安装到用户本地目录。这是因为无法修复Jupyter基础镜像的权限，使其支持安装到主Python环境。

持久化数据

容器重启后，所有工作内容将丢失。因此建议为部署的笔记本服务器挂载持久卷，挂载路径同样为/home/jovyan/work。此持久卷仅用于存储笔记本和文件，重启后需重新安装Python包。建议构建包含所需额外Python包的自定义镜像，详见下文。

填充笔记本和文件

本仓库提供的Jupyter项目镜像版本已启用https://github.com/openshift/source-to-image%E6%9E%84%E5%BB%BA%E5%8A%9F%E8%83%BD%EF%BC%8C%E5%8F%AF%E7%94%A8%E4%BA%8E%E5%B0%86%E7%AC%94%E8%AE%B0%E6%9C%AC%E5%92%8C%E6%96%87%E4%BB%B6%E6%9E%84%E5%BB%BA%E5%88%B0%E9%95%9C%E5%83%8F%E4%B8%AD%EF%BC%8C%E6%97%A0%E9%9C%80%E6%89%8B%E5%8A%A8%E4%B8%8A%E4%BC%A0%E5%8D%B3%E5%8F%AF%E9%83%A8%E7%BD%B2%E3%80%82

创建S2I构建镜像

使用oc new-build命令创建镜像：

bash
oc new-build getwarped/minimal-notebook~https://github.com/getwarped/powershift.git --name powershift-testing --context-dir=notebooks

然后通过引用创建的镜像流名称使用oc new-app部署：

bash
oc new-build getwarped/minimal-notebook~https://github.com/getwarped/powershift.git --name powershift-testing --context-dir=notebooks

包含Python依赖

如果构建使用的源代码仓库包含Python pip的requirements.txt文件，文件中列出的所有额外Python模块将被安装到镜像中。

一步构建部署

若无需保留镜像，仅需一次性部署包含特定文件集的笔记本服务器，可使用oc new-app一步完成构建和部署：

bash
oc new-app getwarped/minimal-notebook~https://github.com/getwarped/powershift.git --name powershift-testing --context-dir=notebooks

临时实例与受控构建

Jupyter项目镜像有多种类型，除minimal-notebook外均为包含许多常用Python包的大型镜像。这适用于不确定所需包的临时笔记本服务器实例，但当需要额外包且需与他人共享工作时可能存在问题。

若需精确控制包含的包及其版本，可使用minimal-notebook作为S2I构建器，通过Python pip的requirements.txt文件构建自定义镜像。

Jupyter项目提供的minimal-notebook仅支持Python 3，若所需包不支持Python 3，或需在OpenShift下使用ipyparallel设置并行计算集群，建议使用getwarped项目提供的替代Jupyter笔记本镜像：

• https://github.com/getwarped/jupyter-notebooks

这些镜像提供Python 2和Python 3版本的最小Jupyter笔记本镜像，支持S2I，并基于Python的warpdrive镜像提供额外自定义构建和部署功能。该项目还提供OpenShift模板，便于通过OpenShift Web控制台构建和部署自定义Jupyter笔记本镜像，包括使用ipyparallel轻松启动并行计算集群。