bde2020/spark-python-template

Spark Python模板镜像

镜像概述和主要用途

Spark Python模板镜像是构建可在Spark集群上运行的Python应用程序的基础镜像。有关如何设置Spark集群的说明，请参见https://github.com/big-data-europe/docker-spark%E3%80%82

核心功能和特性

• 提供基础环境，支持构建适用于Spark集群的Python应用
• 使用pip管理项目依赖
• 支持通过环境变量配置Spark应用参数
• 自动将项目源码添加到容器内指定目录（直接扩展模板时）

使用场景和适用范围

适用于需要开发并部署Python应用程序到Spark集群的场景，尤其适合需要管理依赖、配置应用参数的Spark应用开发。

使用方法和配置说明

使用pip打包应用

通过扩展此镜像并添加源代码，可在Spark集群上构建和启动Python应用。模板使用pip管理项目依赖，因此请确保在应用根目录下有requirements.txt文件，指定所有依赖项。

扩展Spark Python模板以集成应用

扩展步骤

1. 在项目根目录（包含requirements.txt的目录）创建Dockerfile
2. 扩展Spark Python模板镜像
3. 配置以下环境变量（默认值满足需求时可省略）：
   • SPARK_MASTER_NAME（默认值：spark-master）：Spark主节点名称
   • SPARK_MASTER_PORT（默认值：7077）：Spark主节点端口
   • SPARK_APPLICATION_PYTHON_LOCATION（默认值：/app/app.py）：Python应用入口文件路径
   • SPARK_APPLICATION_ARGS：应用运行参数
4. 构建并运行镜像

构建和运行命令

bash
docker build --rm -t bde/spark-app .
docker run --name my-spark-app -e ENABLE_INIT_DAEMON=false --link spark-master:spark-master --net dockerspark_default -d bde/spark-app

注意事项

• 直接扩展Spark Python模板镜像时，项目文件夹中的源码会自动添加到/app目录；否则需在Dockerfile中通过以下命令手动添加源码：

  dockerfile
  COPY . /app
  

• 若在Dockerfile中覆盖模板的CMD，需确保在末尾执行/template.sh脚本

示例Dockerfile

dockerfile
FROM bde2020/spark-python-template:3.1.1-hadoop3.2

MAINTAINER 您 <you@example.org>

ENV SPARK_APPLICATION_PYTHON_LOCATION /app/entrypoint.py
ENV SPARK_APPLICATION_ARGS "foo bar baz"

示例应用

即将推出