apache/gluten

Apache Gluten Docker镜像文档

镜像概述

Apache Gluten Docker镜像是预配置的容器化环境，用于快速部署和运行Apache Gluten加速的Apache Spark集群。Gluten作为Spark的查询加速器，通过集成高效的执行引擎（如Meta Velox、ClickHouse）和优化技术（向量化执行、列式存储），可将Spark SQL查询性能提升2-10倍，同时保持与原生Spark的兼容性，降低迁移成本。

核心功能与特性

1. 多执行引擎支持

• 兼容主流向量化执行引擎：Velox（默认）、ClickHouse、Arrow等
• 可动态切换后端引擎，适应不同数据处理场景需求

2. 性能优化

• 向量化执行：替代Spark原生行式处理，大幅提升CPU利用率
• 列式存储优化：高效数据压缩与编码，减少I/O开销
• 内存管理优化：减少JVM GC压力，提升内存使用效率

3. 兼容性保障

• 完全兼容Spark SQL语法和API，无需修改现有Spark作业
• 支持Spark 3.x系列版本，无缝集成现有Spark生态（Hive、HDFS、S3等）

4. 易于部署

• 预配置Spark和Gluten环境，无需手动编译依赖
• 支持容器编排工具（Kubernetes、Docker Compose），适合规模化部署

使用场景

• 大数据分析平台：提升PB级数据的SQL查询速度，缩短数据分析周期
• 企业数据仓库：优化ETL流程和即席查询性能，支持高并发分析场景
• 实时数据处理：结合Spark Streaming，加速流数据聚合与分析
• 云原生数据湖：与对象存储（S3、OSS）集成，优化数据湖查询效率

使用方法

基本部署（Docker Run）

bash
docker run -d \
  --name gluten-spark \
  -e SPARK_MASTER="local[*]" \
  -e GLUTEN_BACKEND="velox" \
  -e SPARK_DRIVER_MEMORY="4g" \
  -e SPARK_EXECUTOR_MEMORY="8g" \
  -p 4040:4040 \
  apache/gluten:latest

环境变量配置

高级配置（Spark属性）

通过spark-defaults.conf自定义Spark和Gluten属性，可通过挂载配置文件实现：

bash
docker run -d \
  --name gluten-spark \
  -v ./spark-defaults.conf:/opt/spark/conf/spark-defaults.conf \
  apache/gluten:latest

示例spark-defaults.conf配置：

ini
# 启用Gluten加速
spark.sql.extensions io.glutenproject.sql.GlutenSparkSessionExtension
# 配置Velox后端内存限制
spark.gluten.velox.memory_pool.size 16g
# 启用向量化执行
spark.gluten.sql.columnar.backend.velox.vectorized true
# 优化Shuffle性能
spark.shuffle.manager org.apache.spark.shuffle.sort.ColumnarShuffleManager

Docker Compose示例

yaml
version: '3'
services:
  gluten-spark:
    image: apache/gluten:latest
    container_name: gluten-spark
    environment:
      - SPARK_MASTER=local[4]
      - GLUTEN_BACKEND=velox
      - SPARK_DRIVER_MEMORY=8g
      - SPARK_EXECUTOR_MEMORY=16g
    ports:
      - "4040:4040"  # Spark UI端口
      - "18080:18080" # Spark History Server端口
    volumes:
      - ./data:/opt/spark/data  # 挂载数据目录
      - ./spark-defaults.conf:/opt/spark/conf/spark-defaults.conf
    restart: unless-stopped

验证部署

1. 访问Spark UI：http://localhost:4040
2. 执行测试SQL验证加速效果：

   bash
   docker exec -it gluten-spark /opt/spark/bin/spark-sql \
     -e "SELECT count(*) FROM parquet.`/opt/spark/data/sample.parquet`"
   

3. 查看Gluten日志确认后端引擎加载：

   bash
   docker logs gluten-spark | grep "Gluten backend initialized with"
   

注意事项

• 选择后端引擎时需确保对应依赖已安装（如clickhouse后端需提前部署ClickHouse集群）
• 生产环境建议通过Kubernetes进行容器编排，实现资源弹性伸缩
• 性能调优需根据数据量和查询特征调整内存配置（如spark.gluten.velox.memory_pool.size）