absaoss/spline-spark-agent
absaoss
Apache Spark的Spline代理，用于跟踪数据处理流程中的数据血统
1 次收藏下载次数: 0状态：社区镜像维护者：absaoss仓库类型：镜像最近更新：12 个月前
让 AI 帮你使用轩辕镜像？ · 展开查看说明 · 点击收起说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
Spline Spark Agent Docker镜像文档
镜像概述
Spline Spark Agent镜像基于ABSA OSS的Spline项目构建，集成了Apache Spark的Spline Agent及配套示例作业。该镜像的主要用途是在启动时自动运行预设的Spark示例作业，向Spline REST服务器提交数据血缘（Data Lineage）信息，从而为新部署的Spline服务器填充样本数据，便于快速验证数据血缘追踪功能。
核心功能
- 自动执行示例作业：容器启动后无需手动干预，自动运行内置的Spark示例任务
- 数据血缘信息提交：将示例作业的执行过程、数据流转关系等血缘信息提交至Spline REST服务器
- 灵活配置支持：通过环境变量配置Spline Producer API地址、运行模式及网络代理
- 轻量级验证工具：无需手动编写测试代码，即可完成Spline服务器的功能验证
使用场景
- 新部署验证：Spline REST服务器初次部署后，快速验证数据血缘采集链路的可用性
- 演示环境搭建：为Spline可视化界面提供样本数据，展示数据血缘追踪效果
- 开发测试：在本地或测试环境中验证Spline Agent与Spark集成的正确性
使用方法
前提条件
- 已部署并运行https://hub.docker.com/r/absaoss/spline-rest-server
- 获取Spline REST服务器的Producer API URL（可从Spline服务器首页获取）
基本使用命令
bashdocker run --rm -e SPLINE_PRODUCER_URL=<spline-producer-url> absaoss/spline-spark-agent
参数说明
--rm：容器退出后自动清理文件系统-e SPLINE_PRODUCER_URL：指定Spline Producer API的访问地址（必填）
Docker Compose部署示例
yamlversion: '3.8' services: spline-spark-agent: image: absaoss/spline-spark-agent environment: - SPLINE_PRODUCER_URL=http://spline-rest-server:8080/producer # 替换为实际Spline服务器Producer URL - SPLINE_MODE=REQUIRED - HTTP_PROXY_HOST=proxy.example.com # 如需代理可添加 - HTTP_PROXY_PORT=8080 depends_on: - spline-rest-server # 需确保Spline服务器优先启动 spline-rest-server: image: absaoss/spline-rest-server ports: - "8080:8080" # 参考Spline REST服务器文档配置数据库等依赖
配置说明
环境变量
Spline核心配置
| 变量名 | 默认值 | 描述 |
|---|---|---|
| SPLINE_PRODUCER_URL | [***] | Spline Producer API的访问地址，需与Spline REST服务器匹配 |
| SPLINE_MODE | REQUIRED | Spline运行模式，可选值：REQUIRED（必须启用）、BEST_EFFORT（尽力而为）、DISABLED（禁用） |
HTTP代理配置
遵循Java标准HTTP代理配置规范，适用于需要通过代理连接Spline服务器的场景：
| 变量名 | 默认值 | 描述 |
|---|---|---|
| HTTP_PROXY_HOST | 无 | 代理服务器主机名 |
| HTTP_PROXY_PORT | 无 | 代理服务器端口号 |
| HTTP_NON_PROXY_HOSTS | 无 | 无需通过代理访问的主机列表（以竖线分隔，如`localhost |
注意事项
- 容器在示例作业执行完成后会自动退出（状态码0），无需手动停止
SPLINE_PRODUCER_URL必须与Spline REST服务器的实际地址匹配，可通过访问Spline服务器首页（如http://<server-ip>:8080）获取正确的Producer API路径- 示例作业基于Spark 3.x构建，确保Spline REST服务器版本与Agent兼容（建议使用相同版本系列）
参考链接
- https://absaoss.github.io/spline/
- https://github.com/AbsaOSS/spline-spark-agent
- https://hub.docker.com/r/absaoss/spline-rest-server
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 spline-spark-agent 镜像标签
docker pull docker.xuanyuan.run/absaoss/spline-spark-agent:<标签>
DockerHub 原生拉取命令
docker pull absaoss/spline-spark-agent:<标签>
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"