inseefrlab/onyxia-pyspark

PySpark 最小化Python环境镜像

镜像概述

本镜像提供一个精简的Python运行环境，已预先配置PySpark接口，可直接与Apache Spark进行交互。旨在为数据处理任务提供轻量级、开箱即用的容器化解决方案，简化PySpark应用的部署流程。

核心功能与特性

• 最小化设计：基于精简Python基础镜像构建，降低资源占用和镜像体积
• 预配置PySpark：集成PySpark库，无需手动配置Spark与Python的集成环境
• 即开即用：容器启动后可直接运行PySpark脚本或进入交互式shell
• 环境隔离：提供独立的运行环境，避免系统级依赖冲突

使用场景

• 开发和测试PySpark数据处理脚本
• 运行轻量级Spark数据分析任务
• 构建容器化的Spark数据处理流水线
• 教学环境中的PySpark编程实践

使用方法

基本运行方式

启动容器并进入交互式PySpark shell：

bash
docker run -it --rm [镜像名称]:[标签] pyspark

运行PySpark脚本

挂载本地脚本目录并执行：

bash
docker run --rm -v /本地脚本路径:/app [镜像名称]:[标签] python /app/your_script.py

环境变量配置

支持通过环境变量自定义Spark参数：

• SPARK_HOME：Spark安装路径（默认已配置）
• PYSPARK_PYTHON：Python解释器路径（默认使用容器内Python）
• SPARK_MASTER：Spark集群master地址（如spark://host:port）
• SPARK_DRIVER_MEMORY：Driver内存大小（如2g）
• SPARK_EXECUTOR_MEMORY：Executor内存大小（如4g）

连接远程Spark集群示例

bash
docker run -it --rm \
  -e SPARK_MASTER=spark://spark-master:7077 \
  -e SPARK_DRIVER_MEMORY=4g \
  [镜像名称]:[标签] \
  pyspark

docker-compose配置示例

yaml
version: '3'
services:
  pyspark:
    image: [镜像名称]:[标签]
    volumes:
      - ./scripts:/app/scripts
    environment:
      - SPARK_MASTER=spark://spark-master:7077
      - SPARK_DRIVER_MEMORY=2g
    command: python /app/scripts/process_data.py

启动命令：docker-compose up