htcondor/htc-pyspark-notebook

高吞吐量计算笔记本镜像（htc-pyspark-notebook）

镜像概述

本镜像属于CHTC的高吞吐量计算笔记本（HTC Notebooks）系列，基于https://jupyter-docker-stacks.readthedocs.io/en/latest/%E6%9E%84%E5%BB%BA%EF%BC%8C%E9%9B%86%E6%88%90Jupyter Lab和个人HTCondor环境。可在本地测试工作流后扩展到整个HTCondor池，也可配置为Jupyter Hub的一部分连接更大计算资源。

核心功能

1. 集成环境：包含Jupyter Lab和个人HTCondor池，支持本地运行任务。
2. 计算工具：基于PySpark Notebook，涵盖科学计算包（scipy、matplotlib）及Apache Spark。
3. 扩展能力：提供HTCondor Python绑定与HTMap库，可连接外部HTCondor池。

使用场景

• 本地验证：在本地环境测试高吞吐量计算工作流，避免直接占用生产池资源。
• 分布式计算：通过Jupyter Hub接入大型HTCondor池，处理大规模科学计算任务。
• 数据处理：结合PySpark与HTCondor，实现分布式数据分析与处理。

配置说明与部署示例

快速启动

拉取并运行预构建镜像：

console
$ docker run -it --rm -p 8888:8888 htcondor/htc-pyspark-notebook:latest

绑定本地目录

将当前工作目录挂载到容器内/home/jovyan/work（确保文件双向同步）：

console
$ docker run -it --rm -p 8888:8888 --mount type=bind,source="$(pwd)",target=/home/jovyan/work htcondor/htc-pyspark-notebook:latest

进入bash终端

跳过自动启动Jupyter Lab，直接进入容器bash：

console
$ docker run -it --rm -p 8888:8888 htcondor/htc-pyspark-notebook:latest bash

注意事项

• 禁止直接挂载本地目录到/home/jovyan，否则会破坏容器内HTCondor池运行，需使用子目录（如/home/jovyan/work）。
• 可选择日期标签版本（如2023-10-01）替代latest以固定镜像版本。