ucsdets/scipy-ml-notebook

SciPy / ML Jupyter Notebook 镜像文档

镜像概述

本镜像为UCSD DataHub平台设计，基于Jupyter Notebook构建，集成了丰富的科学计算和机器学习工具栈。包含SciPy生态系统、TensorFlow、PyTorch等核心库，以及完整的Conda环境配置，可直接用于数据分析、科学计算和机器学习模型开发。

核心功能与特性

主要软件包

• 科学计算：SciPy 1.4.1、NumPy 1.18.5、Pandas 1.1.0、SymPy 1.5.1
• 机器学习：TensorFlow 1.15.0（GPU版）、PyTorch 1.2.0+cu92、Scikit-learn 0.22.2.post1
• 数据可视化：Matplotlib 3.2.1、Seaborn 0.10.1、Bokeh 2.0.2、Folium 0.11.0
• 开发工具：JupyterLab 2.1.3、Jupyter Notebook 6.0.3、IPython 7.15.0

Conda环境

1. base环境
   基础环境，包含Python 3.7及上述所有核心包，支持CUDA 10.0，适用于常规科学计算任务。

2. ml-latest环境
   针对CUDA 10.1优化的机器学习环境，包含最新版本的深度学习框架依赖，适用于高性能模型训练。

使用场景

• 学术研究：科学计算、数据分析和可视化
• 教学实践：机器学习算法实现与验证
• 模型开发：TensorFlow/PyTorch模型原型构建与测试
• 数据处理：大规模数据集清洗、特征工程

使用方法

基本运行命令

bash
docker run -p 8888:8888 -v /本地目录:/home/jovyan/work scipy-ml-jupyter

参数说明：

• -p 8888:8888：映射容器Jupyter服务端口到本地
• -v /本地目录:/home/jovyan/work：挂载本地目录到容器工作目录，实现文件持久化

访问Notebook

1. 容器启动后，终端会输出类似以下链接：
   http://127.0.0.1:8888/?token=<随机token>
2. 在浏览器中打开该链接，即可进入Jupyter Notebook界面。

切换Conda环境

在Notebook中执行以下命令切换环境：

bash
# 激活base环境（默认）
!source activate base

# 激活ml-latest环境
!source activate ml-latest

配置说明

环境变量

• JUPYTER_TOKEN：自定义Jupyter访问令牌，如未设置则自动生成
• NB_UID/NB_GID：指定容器内用户ID/组ID，避免权限问题
• CONDA_ENV：默认激活的Conda环境，可选值：base、ml-latest

自定义启动配置

创建jupyter_config.py文件并挂载到容器：

bash
docker run -p 8888:8888 -v /本地配置:/home/jovyan/.jupyter scipy-ml-jupyter

依赖详情

Pip主要包列表（部分）

Conda环境配置

可通过以下命令导出环境配置：

bash
# 导出base环境
conda env export -n base > environment.yml

# 导出ml-latest环境
conda env export -n ml-latest > ml-latest-environment.yml