renien/spark-stand-alone-livy
renien
包含Apache Spark 2.4.7和Apache Livy 0.7.0的Docker镜像，用于便捷部署和运行Spark集群及Livy服务，支持通过API提交Spark作业和管理会话。
3 次收藏下载次数: 0状态：社区镜像维护者：renien仓库类型：镜像最近更新：4 年前
让 AI 帮你使用轩辕镜像？ · 展开查看说明 · 点击收起说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
Docker Spark & Livy
概述
本镜像包含https://spark.apache.org/ 2.4.7和https://livy.apache.org/ 0.7.0，提供了一个便捷的Docker化部署方案，用于运行Spark集群和Livy服务，支持通过API接口提交Spark作业和管理会话。
核心功能和特性
- 集成Spark 2.4.7和Livy 0.7.0，无需手动配置依赖
- 支持Spark Standalone模式，包含Master和Worker节点
- 提供Livy服务，支持通过REST API管理Spark会话和提交作业
- 包含Web UI界面，便于监控Spark集群和Livy服务状态
系统要求
| 软件包 | 版本 |
|---|---|
| python3 | 3.8.5 |
| docker | 20.10.2 |
| docker-compose | 1.27.4 |
| spark | 2.4.7 |
| Livy | 0.7.0 |
| Java | 1.8.0_271 |
使用方法
通过docker-compose运行
- 安装docker-compose
- 使用项目中的docker-compose.yml文件运行：
sh~/projects/personal/docker-spark-livy$ sudo docker-compose up Creating network "docker-spark-livy_default" with the default driver Creating spark-master ... done Creating spark-worker-1 ... done Creating livy ... done Attaching to spark-master, spark-worker-1, livy
Spark Docker镜像基于：https://hub.docker.com/r/renien/spark-stand-alone
访问Web UI
- Spark Master UI: http://localhost:8080/%EF%BC%88%E5%9C%B0%E5%9D%80%EF%BC%9Aspark://master:7077%EF%BC%89
- Spark Worker UI: http://localhost:8081/%EF%BC%88%E5%9C%B0%E5%9D%80%EF%BC%9A172.20.0.2:8881%EF%BC%89
- Livy UI: http://localhost:8998/%EF%BC%88%E5%9C%B0%E5%9D%80%EF%BC%9A172.20.0.3:8998%EF%BC%89
通过API测试Spark和Livy
创建Livy会话
shcurl -X POST -d '{"kind": "spark","driverMemory":"512M","executorMemory":"512M"}' -H "Content-Type: application/json" http://localhost:8998/sessions/
提交简单计算逻辑
shcurl -X POST -d '{"code": "1 + 1"}' -H "Content-Type: application/json" http://localhost:8998/sessions/0/statements
提交Spark代码
shcurl -X POST -d '{"code": "val data = Array(1,2,3); sc.parallelize(data).count"}' -H "Content-Type: application/json" http://localhost:8998/sessions/0/statements
UI界面示例
Livy UI: !https://raw.githubusercontent.com/Renien/docker-spark-livy/master/doc/livy-ui.png "LivyUI"
Spark Master UI: !https://raw.githubusercontent.com/Renien/docker-spark-livy/master/doc/spark-master.png "SparkMaster"
Spark Worker UI: !https://raw.githubusercontent.com/Renien/docker-spark-livy/master/doc/spark-worker.png "SparkWorker"
许可证
https://github.com/Renien/docker-spark-livy 基于 https://opensource.org/licenses/MIT 许可证发布 © https://github.com/Renien%E3%80%82
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 spark-stand-alone-livy 镜像标签
docker pull docker.xuanyuan.run/renien/spark-stand-alone-livy:<标签>
DockerHub 原生拉取命令
docker pull renien/spark-stand-alone-livy:<标签>
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"