iomete/spark-py

iomete spark-py 镜像文档

镜像概述

iomete spark-py镜像是由iomete提供的公共Docker镜像，基于Apache Spark的Python运行环境构建。该镜像预捆绑了运行Spark Python应用所需的必要库和优化配置，旨在简化Spark Python应用的部署流程，减少环境配置开销，让用户能够专注于应用开发而非基础环境搭建。

核心功能与特性

• 预安装必要库：内置PySpark及常用数据处理库（如pandas、numpy等），无需手动安装依赖
• 性能优化：针对Spark运行环境进行优化配置，提升Python应用执行效率
• 即开即用：镜像拉取后可直接运行，无需额外环境配置步骤
• 版本兼容性：支持主流Spark版本（具体版本可通过镜像标签指定）
• 轻量化设计：在保证功能完整性的前提下优化镜像体积，加快拉取速度

使用场景与适用范围

适用场景

• Spark Python应用开发与测试
• 批处理数据处理任务
• 数据分析与数据科学工作流
• 基于Spark的ETL流程

目标用户

• 数据工程师
• 数据科学家
• 开发人员
• 需要快速部署Spark Python应用的团队

使用方法

拉取镜像

通过Docker Hub拉取最新版本镜像：

bash
docker pull iomete/spark-py:latest

如需指定特定版本，可通过标签选择（例如指定Spark 3.3版本）：

bash
docker pull iomete/spark-py:3.3-latest

基本运行示例

启动交互式PySpark Shell

bash
docker run -it --rm iomete/spark-py:latest pyspark

运行自定义Spark Python脚本

将本地脚本挂载到容器中并执行：

bash
docker run -v $(pwd)/your_script.py:/app/script.py iomete/spark-py:latest spark-submit /app/script.py

提交分布式Spark作业

指定Spark Master地址运行分布式作业：

bash
docker run -e SPARK_MASTER=spark://master:7077 iomete/spark-py:latest spark-submit --master spark://master:7077 /app/script.py

环境变量配置

高级配置示例

使用docker-compose部署

创建docker-compose.yml文件：

yaml
version: '3'
services:
  spark-app:
    image: iomete/spark-py:latest
    volumes:
      - ./scripts:/app/scripts
      - ./data:/app/data
    environment:
      - SPARK_MASTER=spark://spark-master:7077
      - SPARK_DRIVER_MEMORY=2g
      - SPARK_EXECUTOR_MEMORY=4g
    command: spark-submit /app/scripts/main.py

启动服务：

bash
docker-compose up

注意事项

• 镜像标签格式为[spark-version]-latest，例如3.4-latest对应Spark 3.4版本
• 生产环境中建议根据作业需求调整内存和CPU资源配置
• 本地开发时可通过挂载目录实现代码热更新，无需重新构建镜像
• 如需扩展自定义库，可基于此镜像创建Dockerfile并添加额外依赖