Spline Spark Agent Docker镜像文档

镜像概述

Spline Spark Agent镜像基于ABSA OSS的Spline项目构建，集成了Apache Spark的Spline Agent及配套示例作业。该镜像的主要用途是在启动时自动运行预设的Spark示例作业，向Spline REST服务器提交数据血缘（Data Lineage）信息，从而为新部署的Spline服务器填充样本数据，便于快速验证数据血缘追踪功能。

核心功能

• 自动执行示例作业：容器启动后无需手动干预，自动运行内置的Spark示例任务
• 数据血缘信息提交：将示例作业的执行过程、数据流转关系等血缘信息提交至Spline REST服务器
• 灵活配置支持：通过环境变量配置Spline Producer API地址、运行模式及网络代理
• 轻量级验证工具：无需手动编写测试代码，即可完成Spline服务器的功能验证

使用场景

• 新部署验证：Spline REST服务器初次部署后，快速验证数据血缘采集链路的可用性
• 演示环境搭建：为Spline可视化界面提供样本数据，展示数据血缘追踪效果
• 开发测试：在本地或测试环境中验证Spline Agent与Spark集成的正确性

使用方法

前提条件

• 已部署并运行Spline REST服务器
• 获取Spline REST服务器的Producer API URL（可从Spline服务器首页获取）

基本使用命令

bash
docker run --rm -e SPLINE_PRODUCER_URL=<spline-producer-url> absaoss/spline-spark-agent

参数说明

• --rm：容器退出后自动清理文件系统
• -e SPLINE_PRODUCER_URL：指定Spline Producer API的访问地址（必填）

Docker Compose部署示例

yaml
version: '3.8'
services:
  spline-spark-agent:
    image: absaoss/spline-spark-agent
    environment:
      - SPLINE_PRODUCER_URL=[***]  # 替换为实际Spline服务器Producer URL
      - SPLINE_MODE=REQUIRED
      - HTTP_PROXY_HOST=proxy.example.com  # 如需代理可添加
      - HTTP_PROXY_PORT=8080
    depends_on:
      - spline-rest-server  # 需确保Spline服务器优先启动

  spline-rest-server:
    image: absaoss/spline-rest-server
    ports:
      - "8080:8080"
    # 参考Spline REST服务器文档配置数据库等依赖

配置说明

环境变量

Spline核心配置

HTTP代理配置

遵循Java标准HTTP代理配置规范，适用于需要通过代理连接Spline服务器的场景：

注意事项

• 容器在示例作业执行完成后会自动退出（状态码0），无需手动停止
• SPLINE_PRODUCER_URL必须与Spline REST服务器的实际地址匹配，可通过访问Spline服务器首页（如http://<server-ip>:8080）获取正确的Producer API路径
• 示例作业基于Spark 3.x构建，确保Spline REST服务器版本与Agent兼容（建议使用相同版本系列）

参考链接

• Spline项目***文档
• Spline Spark Agent GitHub仓库
• Spline REST Server Docker镜像