ingkle/pyspark

镜像概述

该镜像为PySpark应用提供了在Kubernetes环境中运行的专用环境，基于GraalVM Java 17-22.3.0版本构建，并已启用SWAP功能，旨在优化内存管理，提升PySpark作业在容器化环境中的运行效率和稳定性。

核心功能与特性

• GraalVM Java运行时：基于GraalVM Java 17-22.3.0版本，提供高性能JVM环境，优化PySpark执行效率
• SWAP支持：已启用SWAP功能，增强内存管理能力，适应资源受限环境下的内存需求波动
• Kubernetes兼容性：针对K8s集群环境优化，支持容器化部署和调度
• 完整PySpark环境：内置PySpark及相关依赖组件，可直接运行PySpark作业

使用场景

• 在Kubernetes集群中部署和运行PySpark大数据处理作业
• 需要高效内存管理的PySpark应用（通过SWAP功能提升资源利用率）
• 依赖GraalVM Java环境的PySpark应用开发、测试与生产部署

使用方法

基本运行命令

bash
docker run -it --name pyspark-k8s --memory-swap=-1 [镜像名称] pyspark

说明：--memory-swap=-1 参数用于启用SWAP功能，具体内存配置可根据实际需求调整。

Kubernetes部署示例

Deployment配置（pyspark-deployment.yaml）

yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: pyspark-app
spec:
  replicas: 1
  selector:
    matchLabels:
      app: pyspark
  template:
    metadata:
      labels:
        app: pyspark
    spec:
      containers:
      - name: pyspark-container
        image: [镜像名称]
        command: ["pyspark"]
        resources:
          requests:
            memory: "2Gi"
            cpu: "1"
          limits:
            memory: "4Gi"
            cpu: "2"
        # 可选：挂载数据卷
        volumeMounts:
        - name: data-volume
          mountPath: /data
      volumes:
      - name: data-volume
        persistentVolumeClaim:
          claimName: pyspark-data-pvc

环境变量配置

可通过环境变量自定义PySpark配置，常用变量如下：

• SPARK_MASTER：Spark主节点地址（如 k8s://https://kubernetes.default.svc:443）
• SPARK_DRIVER_MEMORY：Driver内存大小（如 1g）
• SPARK_EXECUTOR_MEMORY：Executor内存大小（如 2g）
• SPARK_EXECUTOR_CORES：Executor核心数（如 2）
• SPARK_APP_NAME：应用名称（如 pyspark-k8s-app）

注意事项

• 运行时需确保Kubernetes集群节点已启用SWAP支持
• 根据作业复杂度调整资源请求与限制，避免OOM（内存溢出）
• 生产环境建议结合Spark on Kubernetes官方文档进行参数调优