evenco/datascience-base

docker-datascience

注意：由于Dockerfile目前静态引用Java的最新版本，如果JDK发布新版本，项目可能无法构建。在找到更好的解决方案前，请访问Oracle JDK下载页面获取最新版本和URL参数。

镜像概述

这是一个适合数据科学使用的Docker容器镜像，旨在提供数据科学家喜爱的强大交互式工具，并能运行所有Even的生产Python代码。

核心功能

• 包含数据科学家常用的交互式工具；
• 支持运行Even的生产Python代码；
• 通过Pipenv管理Python依赖，确保安装的可重复性；
• 提供标准化流程以添加新Python包；
• 支持本地和远程构建镜像，并与CI/CD流程集成。

使用场景

• 作为数据科学项目的基础镜像；
• 开发和测试Even的Python生产代码；
• 在Domino环境中同步使用以保持一致性；
• 进行数据科学相关的实验和分析。

配置说明

添加新Python包

⚠️ 所有新的外部依赖项需经过安全团队审核。⚠️
依赖管理使用Pipenv，步骤如下：

流程概述

1. 进入模拟生产环境的容器（运行./dev_local.sh）；
2. 安装包（pipenv install <package>或pipenv install --dev <package>）；
3. 检查Pipenv.lock仅包含预期变更；
4. 推送分支到evenco/docker-datascience触发Dockerhub构建；
5. 在even-server中更新镜像引用并测试；
6. PR需数据团队和安全团队审核；
7. 同步Domino环境的镜像版本。

安装包步骤

1. 区分生产依赖（用于生产系统）和开发依赖（用于 notebooks/Domino/本地脚本）；
2. 使用Pipenv安装包，非必要不固定版本；
3. 手动添加依赖的可选组件（如fs需fs-s3fs）。

构建镜像

• 远程构建：推送变更到分支，Dockerhub自动构建带分支标签的镜像；
• 本地构建：运行./build_local.sh，镜像标记为evenco/datascience-base。

测试

• CI测试：在even-server分支中更新镜像引用，CircleCI自动运行测试；
• 本地测试：构建下游镜像（如scholar），运行单元测试或手动验证功能。

同步Domino环境

1. 获取commit ID（在GitHub中按y键复制）；
2. 编辑Domino Even Base环境的Dockerfile，更新git checkout的hash；
3. 检查并清理"额外包"；
4. 构建环境并添加描述。

部署

合并到master后，Dockerhub发布latest镜像。Even-server新发布将使用该镜像，本地需运行even-server的./scripts/install。

其他工具

使用compare-requirement.py脚本比较两个需求文件，查看版本差异和独有包。

Docker部署示例

本地运行镜像

bash
docker run -it --rm evenco/datascience-base bash

Docker Compose示例

yaml
version: '3'
services:
  datascience:
    image: evenco/datascience-base
    volumes:
      - ./data:/data
      - ./notebooks:/notebooks
    ports:
      - "8888:8888"
    command: jupyter notebook --ip=0.0.0.0 --port=8888 --allow-root --notebook-dir=/notebooks