热门搜索:
spydernaz/spark-worker
spydernaz
这是一个基于Docker和docker-compose的Spark独立集群镜像，可快速搭建多节点测试环境，支持Spark应用开发、分布式任务运行与测试验证。
1 次收藏下载次数: 0状态：社区镜像维护者：spydernaz仓库类型：镜像最近更新：6 年前
让 AI 帮你使用轩辕镜像？ · 展开查看说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
Spark Cluster with Docker & docker-compose
概述
本镜像提供了一个简单的Spark独立集群解决方案，用于快速搭建测试环境。通过docker-compose可一键部署包含1个master节点和多个worker节点的集群，满足Spark应用开发与测试需求。
核心功能
- 快速构建Spark集群（含1个master节点+多worker节点）
- 支持通过docker-compose扩展worker节点数量
- 提供专用spark-submit镜像提交Spark应用
- 卷绑定功能方便共享应用jar包和数据文件
- 可自定义worker节点的CPU、RAM等资源分配
使用场景
- Spark应用开发与本地测试
- 分布式数据处理任务验证
- CI/CD流水线集成（Spark应用自动化测试）
- 学习Spark分布式计算原理
配置说明
前置条件
- 已安装Docker
- 已安装Docker Compose
- 可选：Spark应用Jar包
构建镜像
使用脚本构建所需镜像：
shchmod +x build-images.sh ./build-images.sh
构建完成后将生成以下镜像：
- spark-base:2.3.1（基础镜像，含Java、Scala、Python3和Spark 2.3.1）
- spark-master:2.3.1（master节点镜像）
- spark-worker:2.3.1（worker节点镜像）
- spark-submit:2.3.1（应用提交镜像）
运行集群
通过docker-compose启动集群（默认3个worker节点）：
shdocker-compose up --scale spark-worker=3
验证集群
访问以下UI确认集群状态：
- Spark Master：[***]
- Spark Worker 1：[***]
- Spark Worker 2：[***]
- Spark Worker 3：[***]
资源分配调整
修改env/spark-worker.sh文件可调整资源配置：
- 默认worker节点CPU核心：1核
- 默认worker节点RAM：1024MB
- 默认executor RAM：256MB
- 默认driver RAM：128MB
卷绑定说明
镜像提供两个卷绑定用于共享文件：
| 主机路径 | 容器路径 | 用途 |
|---|---|---|
| /mnt/spark-apps | /opt/spark-apps | 共享应用Jar包和配置文件 |
| /mnt/spark-data | /opt/spark-data | 共享应用数据文件 |
运行示例应用
- 复制应用资源到卷路径：
bash# 复制应用Jar包 cp /home/workspace/crimes-app/build/libs/crimes-app.jar /mnt/spark-apps # 复制配置文件 cp -r /home/workspace/crimes-app/config /mnt/spark-apps # 复制数据文件 cp /home/Crimes_-_2001_to_present.csv /mnt/spark-data
- 使用spark-submit提交应用：
bashSPARK_APPLICATION_JAR_LOCATION="/opt/spark-apps/crimes-app.jar" SPARK_APPLICATION_MAIN_CLASS="org.mvb.applications.CrimesApp" SPARK_SUBMIT_ARGS="--conf spark.executor.extraJavaOptions='-Dconfig-path=/opt/spark-apps/dev/config.conf'" docker run --network docker-spark-cluster_spark-network \ -v /mnt/spark-apps:/opt/spark-apps \ --env SPARK_APPLICATION_JAR_LOCATION=$SPARK_APPLICATION_JAR_LOCATION \ --env SPARK_APPLICATION_MAIN_CLASS=$SPARK_APPLICATION_MAIN_CLASS \ spark-submit:2.3.1
总结
本镜像通过Docker实现了Spark独立集群的快速部署，适合本地测试和开发场景，帮助用户在个人设备上体验分布式Spark计算，同时支持CI/CD集成，简化Spark应用的测试流程。
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 spark-worker 镜像标签
docker pull docker.xuanyuan.run/spydernaz/spark-worker:<标签>
DockerHub 原生拉取命令
docker pull spydernaz/spark-worker:<标签>
更多 spark-worker 镜像推荐
bde2020/spark-worker
bde2020
用于独立集群的Apache Spark工作节点
29 次收藏500万+ 次下载
1 个月前更新
mhatreabhay/spark-worker
mhatreabhay
暂无描述
10万+ 次下载
7 年前更新
jumoell/spark-worker
jumoell
暂无描述
10万+ 次下载
6 年前更新
zfarkas/spark-worker
zfarkas
暂无描述
5万+ 次下载
4 年前更新
andreper/spark-worker
andreper
在Docker上构建带有JupyterLab界面的Apache Spark Standalone集群
1万+ 次下载
7 个月前更新
falkonry/spark-worker
falkonry
这是Apache Spark工作节点的Docker配置镜像，用于搭建Spark分布式计算集群中的工作节点，支持接收主节点任务并执行分布式数据处理。
1 次收藏1万+ 次下载
7 年前更新
镜像拉取常见问题
功能
排错
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"