本站面向开发者与科研用户，提供开源镜像的搜索和下载加速服务。
所有镜像均来源于原始开源仓库，本站不存储、不修改、不传播任何镜像内容。
轩辕镜像 - 国内开发者首选的专业 Docker 镜像下载加速服务平台 - 官方QQ群:13763429 👈点击免费获得技术支持。
本站面向开发者与科研用户，提供开源镜像的搜索和下载加速服务。所有镜像均来源于原始开源仓库，本站不存储、不修改、不传播任何镜像内容。
本站面向开发者与科研用户，提供开源镜像的搜索和下载加速服务。所有镜像均来源于原始开源仓库，本站不存储、不修改、不传播任何镜像内容。
本站支持搜索的镜像仓库：Docker Hub、gcr.io、ghcr.io、quay.io、k8s.gcr.io、registry.gcr.io、elastic.co、mcr.microsoft.com
spark-nomad Docker 镜像下载 - 轩辕镜像
spark-nomad 镜像详细信息和使用指南
spark-nomad 镜像标签列表和版本信息
spark-nomad 镜像拉取命令和加速下载
spark-nomad 镜像使用说明和配置指南
Docker 镜像加速服务 - 轩辕镜像平台
国内开发者首选的 Docker 镜像加速平台
极速拉取 Docker 镜像服务
相关 Docker 镜像推荐
热门 Docker 镜像下载
hashicorp/spark-nomad
spark-nomad 镜像详细信息
spark-nomad 镜像标签列表
spark-nomad 镜像使用说明
spark-nomad 镜像拉取命令
Docker 镜像加速服务
轩辕镜像平台优势
镜像下载指南
相关 Docker 镜像推荐
支持HashiCorp Nomad调度器的Apache Spark分发版，用于在Nomad环境中实现分布式计算任务调度与执行。
3 收藏0 次下载activehashicorp镜像
spark-nomad 镜像详细说明
spark-nomad 使用指南
spark-nomad 配置说明
spark-nomad 官方文档
Apache Spark on Nomad 镜像文档
镜像概述与主要用途
本镜像是基于 Apache Spark 2.1.1 构建的分布式计算框架发行版，额外集成了对 HashiCorp Nomad 调度器的支持。通过该镜像，用户可在 Nomad 容器编排平台中直接提交和运行 Spark 分布式作业，实现 Spark 计算任务与 Nomad 调度能力的无缝集成。
核心功能与特性
- 基于 Apache Spark 2.1.1：镜像内置 Spark 2.1.1 版本，包含完整的 Spark 分布式计算功能（如 Spark Core、Spark SQL、Spark Streaming 等）。
- 集成 Nomad 调度支持：通过 Apache Spark 社区 PR 实现 Nomad 调度适配，支持将 Spark 作业提交至 Nomad 集群进行资源调度和任务编排。
- 支持本地分发模式：提供
local:///opt/spark路径作为 Spark 分发目录，简化作业依赖分发流程。 - 兼容多部署模式：支持 Spark 的 Client Mode 和 Cluster Mode 两种部署模式，适配不同场景下的作业运行需求。
使用场景与适用范围
- Nomad 容器编排环境：适用于已采用 Nomad 作为容器编排平台，需要部署 Spark 分布式计算框架的场景。
- Spark 作业调度需求：需通过 Nomad 实现 Spark 作业的资源隔离、动态扩缩容及任务生命周期管理的用户。
- 开发与测试环境：支持在本地 Nomad 开发模式下快速验证 Spark 作业逻辑，降低环境配置复杂度。
使用方法与配置说明
环境准备
使用本镜像前需先部署 Nomad 环境。对于开发测试场景，可通过以下命令启动 Nomad Agent（开发者模式，需本地已安装 Nomad 且支持 Docker）：
# 以开发者模式启动 Nomad Agent（包含服务端和客户端，仅用于测试） sudo nomad agent -dev
部署模式说明
1. Client Mode（客户端模式）
在 Client Mode 下，Spark Driver 运行在提交作业的客户端（即本镜像容器内），Executor 由 Nomad 调度至集群节点运行。适用于需要本地监控 Driver 日志或交互式调试的场景。
使用命令：
docker run --network=host -it hashicorp/spark-nomad ./opt/spark/bin/spark-submit \ --master nomad \ # 指定调度器为 Nomad --docker-image hashicorp/spark-nomad \ # 指定 Executor 使用的 Docker 镜像 --distribution local:///opt/spark \ # 指定 Spark 分发路径（镜像内置路径） --driver-memory 512m \ # Driver 内存大小 --executor-memory 512m \ # 每个 Executor 内存大小 --class org.apache.spark.examples.SparkPi \ # 作业主类（示例为 SparkPi） local:/opt/spark/examples/jars/spark-examples_2.11-2.1.1.jar \ # 作业 JAR 包路径（镜像内置示例） 10 # 作业参数（SparkPi 计算圆周率的迭代次数）
2. Cluster Mode（集群模式）
在 Cluster Mode 下，Spark Driver 由 Nomad 调度至集群节点运行，提交作业的客户端仅负责提交任务，不保留 Driver 进程。适用于生产环境中长时间运行的后台作业。
使用命令：
docker run --network=host -it hashicorp/spark-nomad ./opt/spark/bin/spark-submit \ --master nomad \ # 指定调度器为 Nomad --deploy-mode cluster \ # 指定部署模式为集群模式 --docker-image hashicorp/spark-nomad \ # 指定 Driver 和 Executor 使用的 Docker 镜像 --distribution local:///opt/spark \ # 指定 Spark 分发路径（镜像内置路径） --driver-memory 512m \ # Driver 内存大小 --executor-memory 512m \ # 每个 Executor 内存大小 --class org.apache.spark.examples.SparkPi \ # 作业主类（示例为 SparkPi） local:/opt/spark/examples/jars/spark-examples_2.11-2.1.1.jar \ # 作业 JAR 包路径（镜像内置示例） 10 # 作业参数（SparkPi 计算圆周率的迭代次数）
关键配置参数说明
| 参数 | 说明 |
|---|---|
--master nomad | 必选，指定 Spark 作业的主调度器为 Nomad。 |
--deploy-mode | 可选，指定部署模式：client（默认，客户端模式）或 cluster（集群模式）。 |
--docker-image | 必选，指定 Spark Executor（Cluster Mode 下还包括 Driver）使用的 Docker 镜像，需与当前镜像一致。 |
--distribution | 必选，指定 Spark 分发路径，固定为 local:///opt/spark（镜像内置 Spark 安装目录）。 |
--driver-memory | 可选，指定 Driver 内存大小，如 512m、1g。 |
--executor-memory | 可选，指定每个 Executor 内存大小，如 512m、1g。 |
--class | 必选，指定 Spark 作业主类（全类名）。 |
| 作业参数 | 可选，传递给 Spark 作业的自定义参数（如示例中的 10 为 SparkPi 的迭代次数）。 |
常见问题
轩辕镜像免费版与专业版有什么区别？
免费版仅支持 Docker Hub 加速，不承诺可用性和速度；专业版支持更多镜像源，保证可用性和稳定速度，提供优先客服响应。
轩辕镜像免费版与专业版有分别支持哪些镜像？
免费版仅支持 docker.io；专业版支持 docker.io、gcr.io、ghcr.io、registry.k8s.io、nvcr.io、quay.io、mcr.microsoft.com、docker.elastic.co 等。
流量耗尽错误提示
当返回 402 Payment Required 错误时，表示流量已耗尽，需要充值流量包以恢复服务。
410 错误问题
通常由 Docker 版本过低导致，需要升级到 20.x 或更高版本以支持 V2 协议。
manifest unknown 错误
先检查 Docker 版本，版本过低则升级；版本正常则验证镜像信息是否正确。
镜像拉取成功后，如何去掉轩辕镜像域名前缀？
使用 docker tag 命令为镜像打上新标签，去掉域名前缀，使镜像名称更简洁。
轩辕镜像下载加速使用手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
登录方式进行 Docker 镜像下载加速教程
通过 Docker 登录方式配置轩辕镜像加速服务，包含7个详细步骤
Linux Docker 镜像下载加速教程
在 Linux 系统上配置轩辕镜像源，支持主流发行版
Windows/Mac Docker 镜像下载加速教程
在 Docker Desktop 中配置轩辕镜像加速，适用于桌面系统
Docker Compose 镜像下载加速教程
在 Docker Compose 中使用轩辕镜像加速，支持容器编排
K8s containerd 镜像下载加速教程
在 k8s 中配置 containerd 使用轩辕镜像加速
宝塔面板 Docker 镜像下载加速教程
在宝塔面板中配置轩辕镜像加速，提升服务器管理效率
群晖 NAS Docker 镜像下载加速教程
在 Synology 群晖NAS系统中配置轩辕镜像加速
飞牛fnOS Docker 镜像下载加速教程
在飞牛fnOS系统中配置轩辕镜像加速
极空间 NAS Docker 镜像下载加速教程
在极空间NAS中配置轩辕镜像加速
爱快路由 ikuai Docker 镜像下载加速教程
在爱快ikuai系统中配置轩辕镜像加速
绿联 NAS Docker 镜像下载加速教程
在绿联NAS系统中配置轩辕镜像加速
威联通 NAS Docker 镜像下载加速教程
在威联通NAS系统中配置轩辕镜像加速
Podman Docker 镜像下载加速教程
在 Podman 中配置轩辕镜像加速，支持多系统
ghcr、Quay、nvcr、k8s、gcr 等仓库下载镜像加速教程
配置轩辕镜像加速9大主流镜像仓库，包含详细配置步骤
专属域名方式进行 Docker 镜像下载加速教程
无需登录即可使用轩辕镜像加速服务，更加便捷高效
需要其他帮助？请查看我们的 常见问题 或 官方QQ群: 13763429