apache/spark-connect-swift

Apache Spark-Swift 连接镜像

镜像概述

本Docker镜像提供预配置环境，旨在简化Apache Spark与Swift存储服务的连接流程。通过集成Spark-Swift连接器，消除手动配置依赖的复杂性，使开发和运维人员能够快速部署支持Swift数据访问的Spark环境，专注于数据处理逻辑而非连接配置。

核心功能与特性

• 内置连接器：预集成Spark与Swift存储的官方/社区连接器，无需手动安装依赖包
• 简化认证：支持Swift Keystone认证机制，通过环境变量快速配置认证参数
• 版本兼容：兼容Apache Spark 2.x/3.x版本及主流OpenStack Swift服务版本
• 灵活配置：支持通过环境变量或挂载配置文件自定义Spark和Swift连接参数
• 即开即用：容器启动后可直接运行Spark作业，无需额外配置步骤

使用场景与适用范围

• 大数据分析：在Spark中直接读取Swift存储的大规模数据集（如日志、传感器数据）进行分布式计算
• 数据湖架构：作为数据湖解决方案的计算层，连接Spark引擎与Swift存储层实现数据统一管理
• ETL流程：在数据抽取、转换、加载流程中，实现Spark与Swift之间的高效数据传输
• 云原生部署：在OpenStack云环境中部署Spark集群，利用Swift对象存储扩展存储能力

使用方法与配置说明

快速启动（Docker Run）

通过以下命令启动镜像，替换环境变量为实际Swift认证信息和Spark配置：

bash
docker run -d \
  -e SWIFT_AUTH_URL="https://your-keystone-auth-url/v3" \
  -e SWIFT_USERNAME="spark-service-account" \
  -e SWIFT_PASSWORD="secure-auth-password" \
  -e SWIFT_TENANT_NAME="service-tenant" \
  -e SPARK_MASTER="local[*]" \
  --name spark-swift-connector \
  apache-spark-connect-swift:latest

Docker Compose配置示例

创建docker-compose.yml文件实现多容器协同部署：

yaml
version: '3.8'
services:
  spark-swift:
    image: apache-spark-connect-swift:latest
    container_name: spark-swift-connector
    environment:
      - SWIFT_AUTH_URL=https://keystone.example.com/v3
      - SWIFT_USERNAME=spark-user
      - SWIFT_PASSWORD=P@ssw0rd123
      - SWIFT_TENANT_NAME=analytics-tenant
      - SWIFT_REGION=RegionOne
      - SPARK_MASTER=spark://spark-master:7077
      - SPARK_EXECUTOR_MEMORY=2g
      - SPARK_DRIVER_MEMORY=1g
    volumes:
      - ./spark-jobs:/opt/spark/jobs  # 挂载本地Spark作业目录
      - ./spark-logs:/var/log/spark   # 挂载日志目录
    depends_on:
      - spark-master
    restart: unless-stopped

  spark-master:
    image: bitnami/spark:latest
    container_name: spark-master
    environment:
      - SPARK_MODE=master
    ports:
      - "7077:7077"
      - "8080:8080"

启动命令：docker-compose up -d

配置参数说明

必要环境变量

可选配置环境变量

操作示例：Spark访问Swift数据

1. 进入运行中的容器：

   bash
   docker exec -it spark-swift-connector bash
   

2. 启动Spark Shell：

   bash
   spark-shell
   

3. 读取Swift中的CSV文件（假设Swift容器data-container中有user-data.csv）：

   scala
   val df = spark.read
     .format("csv")
     .option("header", "true")
     .option("inferSchema", "true")
     .load("swift2d://data-container.swift/user-data.csv")
   
   // 显示数据
   df.show(10)
   

4. 写入数据到Swift：

   scala
   df.write
     .format("parquet")
     .mode("overwrite")
     .save("swift2d://data-container.swift/processed-user-data")
   

注意：swift2d为连接器协议标识，具体协议名称可能因连接器版本不同略有差异，需参考镜像内置连接器文档。