热门搜索:
hashicorp/spark-nomad
hashicorp
支持HashiCorp Nomad调度器的Apache Spark分发版，用于在Nomad环境中实现分布式计算任务调度与执行。
3 次收藏下载次数: 0状态：社区镜像维护者：hashicorp仓库类型：镜像最近更新：8 年前
Apache Spark on Nomad 镜像文档
镜像概述与主要用途
本镜像是基于 Apache Spark 2.1.1 构建的分布式计算框架发行版，额外集成了对 HashiCorp Nomad 调度器的支持。通过该镜像，用户可在 Nomad 容器编排平台中直接提交和运行 Spark 分布式作业，实现 Spark 计算任务与 Nomad 调度能力的无缝集成。
核心功能与特性
- 基于 Apache Spark 2.1.1：镜像内置 Spark 2.1.1 版本，包含完整的 Spark 分布式计算功能（如 Spark Core、Spark SQL、Spark Streaming 等）。
- 集成 Nomad 调度支持：通过 Apache Spark 社区 PR 实现 Nomad 调度适配，支持将 Spark 作业提交至 Nomad 集群进行资源调度和任务编排。
- 支持本地分发模式：提供
local:///opt/spark路径作为 Spark 分发目录，简化作业依赖分发流程。 - 兼容多部署模式：支持 Spark 的 Client Mode 和 Cluster Mode 两种部署模式，适配不同场景下的作业运行需求。
使用场景与适用范围
- Nomad 容器编排环境：适用于已采用 Nomad 作为容器编排平台，需要部署 Spark 分布式计算框架的场景。
- Spark 作业调度需求：需通过 Nomad 实现 Spark 作业的资源隔离、动态扩缩容及任务生命周期管理的用户。
- 开发与测试环境：支持在本地 Nomad 开发模式下快速验证 Spark 作业逻辑，降低环境配置复杂度。
使用方法与配置说明
环境准备
使用本镜像前需先部署 Nomad 环境。对于开发测试场景，可通过以下命令启动 Nomad Agent（开发者模式，需本地已安装 Nomad 且支持 Docker）：
bash# 以开发者模式启动 Nomad Agent（包含服务端和客户端，仅用于测试） sudo nomad agent -dev
部署模式说明
1. Client Mode（客户端模式）
在 Client Mode 下，Spark Driver 运行在提交作业的客户端（即本镜像容器内），Executor 由 Nomad 调度至集群节点运行。适用于需要本地监控 Driver 日志或交互式调试的场景。
使用命令：
bashdocker run --network=host -it hashicorp/spark-nomad ./opt/spark/bin/spark-submit \ --master nomad \ # 指定调度器为 Nomad --docker-image hashicorp/spark-nomad \ # 指定 Executor 使用的 Docker 镜像 --distribution local:///opt/spark \ # 指定 Spark 分发路径（镜像内置路径） --driver-memory 512m \ # Driver 内存大小 --executor-memory 512m \ # 每个 Executor 内存大小 --class org.apache.spark.examples.SparkPi \ # 作业主类（示例为 SparkPi） local:/opt/spark/examples/jars/spark-examples_2.11-2.1.1.jar \ # 作业 JAR 包路径（镜像内置示例） 10 # 作业参数（SparkPi 计算圆周率的迭代次数）
2. Cluster Mode（集群模式）
在 Cluster Mode 下，Spark Driver 由 Nomad 调度至集群节点运行，提交作业的客户端仅负责提交任务，不保留 Driver 进程。适用于生产环境中长时间运行的后台作业。
使用命令：
bashdocker run --network=host -it hashicorp/spark-nomad ./opt/spark/bin/spark-submit \ --master nomad \ # 指定调度器为 Nomad --deploy-mode cluster \ # 指定部署模式为集群模式 --docker-image hashicorp/spark-nomad \ # 指定 Driver 和 Executor 使用的 Docker 镜像 --distribution local:///opt/spark \ # 指定 Spark 分发路径（镜像内置路径） --driver-memory 512m \ # Driver 内存大小 --executor-memory 512m \ # 每个 Executor 内存大小 --class org.apache.spark.examples.SparkPi \ # 作业主类（示例为 SparkPi） local:/opt/spark/examples/jars/spark-examples_2.11-2.1.1.jar \ # 作业 JAR 包路径（镜像内置示例） 10 # 作业参数（SparkPi 计算圆周率的迭代次数）
关键配置参数说明
| 参数 | 说明 |
|---|---|
--master nomad | 必选，指定 Spark 作业的主调度器为 Nomad。 |
--deploy-mode | 可选，指定部署模式：client（默认，客户端模式）或 cluster（集群模式）。 |
--docker-image | 必选，指定 Spark Executor（Cluster Mode 下还包括 Driver）使用的 Docker 镜像，需与当前镜像一致。 |
--distribution | 必选，指定 Spark 分发路径，固定为 local:///opt/spark（镜像内置 Spark 安装目录）。 |
--driver-memory | 可选，指定 Driver 内存大小，如 512m、1g。 |
--executor-memory | 可选，指定每个 Executor 内存大小，如 512m、1g。 |
--class | 必选，指定 Spark 作业主类（全类名）。 |
| 作业参数 | 可选，传递给 Spark 作业的自定义参数（如示例中的 10 为 SparkPi 的迭代次数）。 |
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 spark-nomad 镜像标签
docker pull docker.xuanyuan.run/hashicorp/spark-nomad:<标签>
DockerHub 原生拉取命令
docker pull hashicorp/spark-nomad:<标签>
更多 spark-nomad 镜像推荐
circleci/nomad
circleci
此镜像仅供内部使用
50万+ 次下载
2 年前更新
hashicorp/nomad
hashicorp
官方Nomad Docker镜像，用于部署和管理容器化及非容器化工作负载的工作负载编排工具。
10 次收藏10万+ 次下载
1 个月前更新
library/spark
Docker 官方镜像
Apache Spark 是一款专为大规模数据处理打造的统一分析引擎，它集成了批处理、流处理、机器学习、图计算等多种数据处理能力，通过基于内存的计算模型显著提升数据处理速度，具备高效、易用且可扩展的特性，能为企业和开发者提供一站式的大数据分析解决方案，支持从数据提取、清洗、转换到深度分析与应用部署的全流程，满足各类复杂数据场景下的处理需求，助力实现数据驱动的高效决策与业务创新。
119 次收藏100万+ 次下载
26 天前更新
bitnami/spark
Bitnami Secure Images（VMware Tanzu）
比特纳米Spark安全镜像是一种为Apache Spark大数据处理框架提供的预配置、安全加固的软件镜像，它集成了必要的依赖组件，经过严格的安全审查与漏洞修复，支持快速部署和持续更新，确保用户能够便捷、安全地搭建和运行Spark集群，适用于企业级大数据分析、数据处理等场景，满足合规性要求并有效降低运维复杂度。
189 次收藏1000万+ 次下载
8 个月前更新
hashicorp/nomad-website
hashicorp
用于构建Nomad文档网站的工具镜像，提供预配置构建环境，支持本地开发预览与CI/CD自动化构建流程。
3 次收藏10万+ 次下载
4 年前更新
hashicorp/nomad-pack
hashicorp
暂无描述
3 次收藏1万+ 次下载
1 个月前更新
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
配置了专属域名后，docker search 为什么会报错？
docker search 限制
Docker Hub 上有的镜像，为什么在轩辕镜像网站搜不到？
站内搜不到镜像
机器不能直连外网时，怎么用 docker save / load 迁镜像？
离线 save/load
docker pull 拉插件报错（plugin v1+json）怎么办？
插件要用 plugin install
WSL 里 Docker 拉镜像特别慢，怎么排查和优化？
WSL 拉取慢
轩辕镜像安全吗？如何用 digest 校验镜像没被篡改？
安全与 digest
第一次用轩辕镜像拉 Docker 镜像，要怎么登录和配置？
新手拉取配置
轩辕镜像合规吗？轩辕镜像的合规是怎么做的？
镜像合规机制
错误码与失败问题
docker pull 提示 manifest unknown 怎么办？
manifest unknown
docker pull 提示 no matching manifest 怎么办？
no matching manifest（架构）
镜像已拉取完成，却提示 invalid tar header 或 failed to register layer 怎么办？
invalid tar header（解压）
Docker pull 时 HTTPS / TLS 证书验证失败怎么办？
TLS 证书失败
Docker pull 时 DNS 解析超时或连不上仓库怎么办？
DNS 超时
docker 无法连接轩辕镜像域名怎么办？
域名连通性排查
Docker 拉取出现 410 Gone 怎么办？
410 Gone 排查
出现 402 或「流量用尽」提示怎么办？
402 与流量用尽
Docker 拉取提示 UNAUTHORIZED（401）怎么办？
401 认证失败
遇到 429 Too Many Requests（请求太频繁）怎么办？
429 限流
docker login 提示 Cannot autolaunch D-Bus，还算登录成功吗？
D-Bus 凭证提示
为什么会出现「单层超过 20GB」或 413，无法加速拉取？
413 与超大单层
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"