dammeax/jupyter

Jupyter Notebook for xp Team Docker镜像文档

镜像概述

本镜像为xp团队定制，基于Docker Hub的Anaconda镜像（Python 2.7版本）构建，提供Jupyter Notebook编辑器环境。Anaconda基础环境包含其标准Python 2.7包（详见Anaconda官方包列表），并额外集成了多个增强工具，满足数据科学和Spark开发需求。

核心功能与特性

基础环境

• 基于Anaconda Python 2.7，包含丰富的科学计算包
• 集成Jupyter Notebook基础功能

扩展组件

• pixiedust：提供交互式数据可视化（支持matplotlib、seaborn、bokeh等渲染器）、Spark任务监控（可视化Spark任务进度与详情）及Python调试器
• jupyter_contrib_nbextensions：扩展Jupyter Notebook功能的插件集合
• jupyter_nbextensions_configurator：提供图形界面配置Jupyter扩展

环境配置优化

• 通过inputPixiedustJupyterInstall.txt文件自动响应pixiedust的交互式安装脚本
• 调整默认kernel.json配置，移除PYSPARK_SUBMIT_ARGS、SPARK_DRIVER_MEMORY、SPARK_LOCAL_IP等环境变量的硬编码，允许通过Docker服务定义灵活设置

使用场景

• xp团队的数据分析与可视化工作
• Spark应用开发与调试
• Jupyter Notebook环境的快速部署与标准化

使用方法与配置说明

镜像结构说明

pixiedust安装过程会生成kernel.json文件，默认内容如下：

json
{
 "argv": [
  "python",
  "-m",
  "ipykernel",
  "-f",
  "{connection_file}"
 ],
 "display_name": "Python with Pixiedust (Spark 2.2)",
 "language": "python",
 "env": {
  "PIXIEDUST_HOME": "/root/pixiedust",
  "SCALA_HOME": "/root/pixiedust/bin/scala/scala-2.11.8",
  "SPARK_HOME": "/opt/spark",
  "PYTHONPATH": "/opt/spark/python/:/opt/spark/python/lib/py4j-0.10.4-src.zip",
  "PYTHONSTARTUP": "/opt/spark/python/pyspark/shell.py"
 }
}

注：默认已移除PYSPARK_SUBMIT_ARGS、SPARK_DRIVER_MEMORY、SPARK_LOCAL_IP环境变量，可通过Docker环境变量或服务定义进行配置

基本使用命令

bash
docker run -d -p 8888:8888 --name xp-jupyter [镜像名称]

自定义Spark参数

通过环境变量设置Spark参数，例如：

bash
docker run -d -p 8888:8888 \
  -e "PYSPARK_SUBMIT_ARGS=--jars /custom/jars.jar --master local[4]" \
  -e "SPARK_DRIVER_MEMORY=8G" \
  --name xp-jupyter [镜像名称]

持久docker-compose配置示例

yaml
version: '3'
services:
  jupyter:
    image: [镜像名称]
    ports:
      - "8888:8888"
    environment:
      - PYSPARK_SUBMIT_ARGS=--jars /custom/jars.jar --master local[4]
      - SPARK_DRIVER_MEMORY=8G
      - SPARK_LOCAL_IP=0.0.0.0
    volumes:
      - ./notebooks:/root/notebooks
    restart: always

注意事项

• 镜像基于Python 2.7，请注意与Python 3.x项目存在兼容性限制
• pixiedust安装依赖inputPixiedustJupyterInstall.txt文件实现无交互安装，不可删除该文件
• Spark相关环境变量需通过Docker服务定义设置，避免直接修改kernel.json