datakitchenprod/dk_general_purpose_container

通用容器(GPC)镜像文档

镜像概述和主要用途

本项目用于构建通用容器(General Purpose Container, GPC)镜像，适用于DataKitchen Platform的Docker容器节点。该镜像结合DataKitchen Platform，可运行shell脚本、python3代码及Jupyter notebooks，能够实现平台内当前及未来几乎所有工具的自动化。

核心功能和特性

• 多类型任务支持：运行shell脚本、python3代码及Jupyter notebooks
• 基础镜像灵活性：提供基于Ubuntu的镜像，也支持其他基础镜像（如Amazon Linux 2，已测试可用）
• 可扩展性：提供基础镜像（DockerfileUbuntu20Base），可作为自定义镜像的构建基础，满足组织或项目特定需求
• 工具集成：扩展镜像（DockerfileUbuntu20）预安装常用工具包，便于平台内工具自动化

使用场景和适用范围

• DataKitchen Platform用户需在Docker容器节点中运行脚本或代码的场景
• 需要自动化平台内各类工具的组织或项目团队
• 需构建包含特定工具集的自定义容器镜像的场景

详细使用方法和配置说明

镜像仓库

GitHub仓库：https://github.com/DataKitchen/DKGeneralPurposeContainer

构建镜像

可用Dockerfile

• DockerfileUbuntu20Base：基础镜像，包含最小集APT和python包，可运行简单shell及python脚本，也可作为自定义GPC镜像的基础
• DockerfileUbuntu20：继承自基础镜像，添加更多APT和python包，适用于平台内工具自动化

构建命令

使用make build命令构建镜像，通过变量指定Dockerfile和版本标签（建议使用语义化版本）：

bash
make build DOCKERFILE=<dockerfile> VERSION=<semantic_version>

示例：

bash
make build DOCKERFILE=DockerfileUbuntu20 VERSION=0.0.1

注意：默认构建使用--no-cache选项（即NO_CACHE=--no-cache）。如需禁用该选项，在命令中添加NO_CACHE=：

bash
make build DOCKERFILE=<dockerfile> VERSION=<semantic_version> NO_CACHE=

部署镜像

默认部署目标

默认部署至DataKitchen的Dockerhub私有仓库：

• 命名空间：datakitchenprod
• 仓库：dk_general_purpose_container

自定义部署目标

可通过以下变量自定义镜像推送目标：

• REGISTRY_LOCATION：镜像仓库地址（含端口，如my.registry.address:port/，需包含末尾斜杠）
• NAMESPACE：命名空间
• REPOSITORY：仓库名称

推送命令

使用make push推送版本化镜像：

bash
make push DOCKERFILE=<dockerfile> VERSION=<semantic_version>

标记为latest并推送

建议先测试验证版本化镜像，再标记为latest并推送：

bash
# 标记版本化镜像为latest（执行前会拉取镜像确保本地存在）
make tag_latest DOCKERFILE=<dockerfile> VERSION=<semantic_version>

# 推送latest镜像
make push DOCKERFILE=<dockerfile> VERSION=latest

镜像标签格式

• DockerfileUbuntu20Base：[REGISTRY_LOCATION]<NAMESPACE>/<REPOSITORY>:ubuntu20-base-<VERSION>
• DockerfileUbuntu20：[REGISTRY_LOCATION]<NAMESPACE>/<REPOSITORY>:ubuntu20-<VERSION>

示例（默认REGISTRY_LOCATION为空）：

• 基础镜像标签：datakitchenprod/dk_general_purpose_container:ubuntu20-base-0.0.1
• 扩展镜像标签：datakitchenprod/dk_general_purpose_container:ubuntu20-0.0.1

测试

提供三个make目标用于测试：

• unittest：本地运行测试，验证位于src目录的分析容器源代码（通过容器ENTRYPOINT执行）
• imagetest：在Docker容器内运行测试，使用本地构建的指定版本镜像（需先构建镜像）
• ordertest：在DataKitchen平台运行Order测试，需镜像已推送至Dockerhub（需指定USERNAME、PASSWORD、KITCHEN、RECIPE、VARIATION等参数）

CI/CD流水线

Makefile目标支持CI/CD流水线，DataKitchen内部流水线步骤如下：

1. 运行单元测试：make unittest
2. 构建版本化镜像：make build DOCKERFILE=$DOCKERFILE VERSION=$VERSION
3. 运行镜像测试：make imagetest DOCKERFILE=$DOCKERFILE VERSION=$VERSION
4. 推送版本化镜像：make push DOCKERFILE=$DOCKERFILE VERSION=$VERSION
5. 运行订单测试：make ordertest VERSION=$VERSION DOCKERFILE=$DOCKERFILE USERNAME=<> PASSWORD=<> KITCHEN=<> RECIPE=<> VARIATION=<>
6. 标记版本化镜像为latest：make tag_latest DOCKERFILE=$DOCKERFILE VERSION=$VERSION
7. 推送latest镜像：make push_latest DOCKERFILE=$DOCKERFILE VERSION=$VERSION

版本更新日志

Ubuntu20 镜像更新日志

0.0.3 - 2022-07-13

• 将DKUtils更新至v2.5.0

0.0.2 - 2022-05-31

• 添加APT包：
  • git
  • libxml2-dev
  • libxslt1-dev
  • nano
  • rsync
  • wget
• 将psycopg2更新至v2.9.3，并移除--no-binary选项（参考Psycopg 2.7与2.8之间的二进制包变化）
• 添加traitlets<=5.2.0至依赖，解决最新版本5.2.2的AssertionError问题

0.0.1 - 2022-05-26

• 初始版本

Ubuntu20 Base 镜像更新日志

0.0.1 - 2022-05-26

• 初始版本