openeuler/gluten

Apache Gluten | openEuler镜像说明

镜像概述

• 官方Gluten制品Docker镜像。
• 维护者：openEuler CloudNative SIG。
• 帮助渠道：openEuler CloudNative SIG、openEuler社区。

核心功能

Gluten是Apache Spark和Flink的原生加速插件，通过生成Java JAR包和原生库（如Velox）实现性能提升。更多信息可参考https://github.com/apache/gluten%E3%80%82

支持的标签及对应Dockerfile链接

镜像标签由Gluten版本和基础镜像版本组成，详情如下：

使用场景与配置说明

镜像内的制品文件位于/opt/gluten/dist目录，包含JAR包（/opt/gluten/dist/jars）和原生库（/opt/gluten/dist/lib）。

基础操作

拉取镜像（示例）

bash
docker pull my-registry/gluten:1.6.0

查看镜像内制品

bash
docker run --rm my-registry/gluten:1.6.0 bash -c "find /opt/gluten/dist -type f -maxdepth 3 -print"

提取制品到主机

bash
docker create --name tmp my-registry/gluten:1.6.0
docker cp tmp:/opt/gluten/dist ./gluten-dist
docker rm -v tmp

Spark集群部署

Gluten作为Spark插件提供加速，典型生产使用步骤：

1. 节点部署（将制品分发至每个节点）：
   • 将JAR包复制到$SPARK_HOME/jars目录。
   • 将原生库放置在/opt/gluten/lib等目录，并设置环境变量：

     bash
     export LD_LIBRARY_PATH=/opt/gluten/lib:$LD_LIBRARY_PATH
     

2. 任务提交时指定JAR包（示例）：

   bash
   spark-submit \
     --class <MainClass> \
     --master yarn \
     --deploy-mode cluster \
     --jars /opt/gluten/dist/jars/gluten.jar,/opt/gluten/dist/jars/velox-native.jar \
     --conf spark.driver.extraClassPath=/opt/gluten/dist/jars/gluten.jar \
     --conf spark.executor.extraClassPath=/opt/gluten/dist/jars/gluten.jar \
     --conf spark.gluten.sql.columnar.enable=true \
     your-app.jar
   

Kubernetes部署（推荐：initContainer + 共享卷）

通过initContainer从镜像复制制品到共享卷，主应用容器挂载该卷并设置LD_LIBRARY_PATH。示例配置片段：

yaml
initContainers:
  - name: copy-gluten
    image: my-registry/gluten:1.6.0
    command: ["sh","-c","cp -r /opt/gluten/dist /artifacts && chown -R 1000:1000 /artifacts"]
    volumeMounts:
      - name: artifacts
        mountPath: /artifacts

containers:
  - name: app
    image: my-registry/your-app:latest
    volumeMounts:
      - name: artifacts
        mountPath: /opt/gluten
    env:
      - name: LD_LIBRARY_PATH
        value: /opt/gluten/dist/lib:$LD_LIBRARY_PATH

volumes:
  - name: artifacts
    emptyDir: {}

问题反馈

如有疑问或需使用特殊功能，请在openeuler-docker-images仓库提交issue或PR。