infrahelpers/dpp

数据处理管道(DPP)容器镜像

概述

该项目(https://github.com/data-engineering-helpers/dpp-images)%E7%94%9F%E6%88%90%E7%AC%A6%E5%90%88OCI%E6%A0%87%E5%87%86(%E5%BC%80%E6%94%BE%E5%AE%B9%E5%99%A8%E5%80%A1%E8%AE%AE)%E7%9A%84Docker%E5%85%BC%E5%AE%B9%E9%95%9C%E5%83%8F(https://hub.docker.com/repository/docker/infrahelpers/dpp/tags)%EF%BC%8C%E6%8F%90%E4%BE%9B%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E7%AE%A1%E9%81%93(DPP)%E7%8E%AF%E5%A2%83%EF%BC%8C%E5%8F%AF%E7%9B%B4%E6%8E%A5%E7%94%A8%E4%BA%8E%E7%8E%B0%E4%BB%A3%E6%95%B0%E6%8D%AE%E6%A0%88(MDS)(%E7%8E%B0%E4%BB%A3%E6%95%B0%E6%8D%AE%E6%A0%88%E5%AE%9A%E4%B9%89)%E7%9A%84%E9%83%A8%E7%BD%B2%EF%BC%8C%E6%94%AF%E6%8C%81%E7%A7%81%E6%9C%89%E6%88%96%E5%85%AC%E6%9C%89%E4%BA%91%E7%8E%AF%E5%A2%83%EF%BC%88%E5%A6%82AWS%E3%80%81Azure%E3%80%81GCP%EF%BC%89%E3%80%82

这些镜像基于AWS支持的Corretto构建，旨在部署数据工程应用（通常为数据处理管道(DPP)）。

核心功能与特性

• 基础环境：基于AWS支持的Corretto构建，确保稳定性和兼容性
• 云工具集成：预装云厂商命令行工具（如AWS、Azure CLI）和云原生工具（如Pachyderm）
• Python支持：包含特定Python版本，通过pip全局安装Python包
• 多阶段构建：支持Docker多阶段构建，可在同一Dockerfile中构建开发环境和生产环境镜像
• 架构支持：CI/CD流水线（GitHub Actions）构建AMD64和ARM64两种CPU架构的镜像

使用场景与适用范围

• 数据工程应用部署
• 数据处理管道(DPP)运行环境
• 现代数据栈(MDS)在私有或公有云（AWS、Azure、GCP）的部署
• 需要集成云工具和特定Python版本的数据处理任务

使用方法

简单使用

拉取镜像

bash
$ docker pull infrahelpers/dpp:py311

运行容器

启动Spark应用示例：

bash
$ docker run -it infrahelpers/dpp:py311

构建自定义容器镜像

克隆代码仓库

bash
$ mkdir -p ~/dev/infra && cd ~/dev/infra
$ git clone https://github.com/data-engineering-helpers/dpp.git
$ cd dpp

构建OCI镜像

使用Docker构建（也可使用其他OCI构建工具）：

• 适用于EMR 6和DataBricks的Amazon Linux 2镜像（JDK 8，Python 3.11）

bash
$ docker build -t infrahelpers/cloud-python:pyspark-py311 pyspark-py311

• 适用于EMR 6和DataBricks的Amazon Linux 2镜像（JDK 11，Python 3.11）

bash
$ docker build -t infrahelpers/cloud-python:pyspark-py311-jdk11 pyspark-py311-jdk11

推送镜像至Docker Hub（可选）

镜像会在GitHub代码变更时自动构建(https://github.com/data-engineering-helpers/dpp-images/commits/master)%EF%BC%8C%E9%80%9A%E5%B8%B8%E6%97%A0%E9%9C%80%E6%89%8B%E5%8A%A8%E6%8E%A8%E9%80%81%EF%BC%9A

bash
$ docker login
$ docker push infrahelpers/dpp:py311

标记为latest并推送

bash
$ docker tag infrahelpers/dpp:py311 infrahelpers/dpp:latest
$ docker push infrahelpers/dpp:latest

停止容器

bash
$ docker ps  # 查看容器ID或名称
CONTAINER ID IMAGE                    COMMAND                   CREATED        STATUS        PORTS                  NAMES
7b69efc9dc9a infrahelpers/dpp:py311  "/bin/sh -c 'python …"    48 seconds ago Up 47 seconds 0.0.0.0:9000->8050/tcp vigilant_merkle
$ docker kill vigilant_merkle  # 停止容器
vigilant_merkle

Python包安装说明

OCI镜像中通过pip全局安装Python包，支持以下方式：

• 使用requirements.txt安装：

bash
$ python3 -mpip install -r requirements.txt

• 使用pipenv在虚拟环境中安装（建议版本控制Pipfile和Pipfile.lock）：

bash
$ pipenv --rm; pipenv install; pipenv install --dev

相关链接

• https://hub.docker.com/repository/docker/infrahelpers/dpp
• 云Python镜像：
  • GitHub: https://github.com/cloud-helpers/cloud-python-images
  • Docker Hub: https://hub.docker.com/repository/docker/infrahelpers/cloud-python
• 通用C++和Python Debian OCI镜像：
  • GitHub: https://github.com/cpp-projects-showcase/docker-images/tree/master/debian10
  • Docker Hub: https://hub.docker.com/repository/docker/infrahelpers/cpppython
• 轻量级Python/Debian OCI镜像：
  • GitHub: https://github.com/machine-learning-helpers/docker-python-light
  • Docker Hub: https://hub.docker.com/repository/docker/artificialintelligence/python-light
• 原生Python OCI镜像：
  • https://github.com/docker-library/python/tree/master/3.12-rc/buster
  • https://github.com/docker-library/python/tree/master/3.11/buster
  • https://github.com/docker-library/python/tree/master/3.10/buster
  • https://github.com/docker-library/python/tree/master/3.9/buster