轩辕镜像 官方专业版
轩辕镜像
专业版
轩辕镜像 官方专业版
轩辕镜像
专业版
首页个人中心搜索镜像
交易
充值流量¥8起我的订单
文档
工具
提交工单页面收录
spark

amd64/spark

amd64

Apache Spark是一个多语言引擎，用于在单节点或集群上执行数据工程、数据科学和机器学习任务，提供Scala、Java、Python和R的高级API支持。

下载次数: 0状态：社区镜像维护者：amd64仓库类型：镜像最近更新：15 天前
让 AI 帮你使用轩辕镜像？ · 展开查看说明 · 点击收起说明

如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。

只需在 AI 对话中先发送下面这句话即可：

请先完整阅读并严格遵守以下文档中的全部规则与要求：

https://xuanyuan.cloud/agents.md

在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。

查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。

中文简介
下载命令
镜像标签列表与下载命令
轩辕镜像，快一点，稳很多。
点击查看

注意事项

这是https://hub.docker.com/_/spark的`amd64`架构构建的"每架构"仓库 -- 更多信息，请参见官方镜像文档中的https://github.com/docker-library/official-images#architectures-other-than-amd64和官方镜像FAQ中的https://github.com/docker-library/faq#an-images-source-changed-in-git-now-what。

快速参考

维护者

https://spark.apache.org/committers.html

获取帮助

https://spark.apache.org/community.html

支持的标签及对应的Dockerfile链接

  • https://github.com/apache/spark-docker/blob/4bd1dbce94797b5b387b784db6b378069a8b6328/4.0.0/scala2.13-java21-python3-ubuntu/Dockerfile
  • https://github.com/apache/spark-docker/blob/4bd1dbce94797b5b387b784db6b378069a8b6328/4.0.0/scala2.13-java21-r-ubuntu/Dockerfile
  • https://github.com/apache/spark-docker/blob/4bd1dbce94797b5b387b784db6b378069a8b6328/4.0.0/scala2.13-java21-ubuntu/Dockerfile
  • https://github.com/apache/spark-docker/blob/4bd1dbce94797b5b387b784db6b378069a8b6328/4.0.0/scala2.13-java21-python3-r-ubuntu/Dockerfile
  • https://github.com/apache/spark-docker/blob/4bd1dbce94797b5b387b784db6b378069a8b6328/4.0.0/scala2.13-java17-python3-ubuntu/Dockerfile
  • https://github.com/apache/spark-docker/blob/4bd1dbce94797b5b387b784db6b378069a8b6328/4.0.0/scala2.13-java17-r-ubuntu/Dockerfile
  • https://github.com/apache/spark-docker/blob/4bd1dbce94797b5b387b784db6b378069a8b6328/4.0.0/scala2.13-java17-ubuntu/Dockerfile
  • https://github.com/apache/spark-docker/blob/4bd1dbce94797b5b387b784db6b378069a8b6328/4.0.0/scala2.13-java17-python3-r-ubuntu/Dockerfile
  • https://github.com/apache/spark-docker/blob/2ebf694ad45fee6f4beeeb4204bcdb01d73c988f/3.5.7/scala2.12-java17-python3-ubuntu/Dockerfile
  • https://github.com/apache/spark-docker/blob/2ebf694ad45fee6f4beeeb4204bcdb01d73c988f/3.5.7/scala2.12-java17-r-ubuntu/Dockerfile
  • https://github.com/apache/spark-docker/blob/2ebf694ad45fee6f4beeeb4204bcdb01d73c988f/3.5.7/scala2.12-java17-ubuntu/Dockerfile
  • https://github.com/apache/spark-docker/blob/2ebf694ad45fee6f4beeeb4204bcdb01d73c988f/3.5.7/scala2.12-java17-python3-r-ubuntu/Dockerfile
  • https://github.com/apache/spark-docker/blob/2ebf694ad45fee6f4beeeb4204bcdb01d73c988f/3.5.7/scala2.12-java11-python3-ubuntu/Dockerfile
  • https://github.com/apache/spark-docker/blob/2ebf694ad45fee6f4beeeb4204bcdb01d73c988f/3.5.7/scala2.12-java11-r-ubuntu/Dockerfile
  • https://github.com/apache/spark-docker/blob/2ebf694ad45fee6f4beeeb4204bcdb01d73c988f/3.5.7/scala2.12-java11-ubuntu/Dockerfile
  • https://github.com/apache/spark-docker/blob/2ebf694ad45fee6f4beeeb4204bcdb01d73c988f/3.5.7/scala2.12-java11-python3-r-ubuntu/Dockerfile

快速参考（续）

问题反馈地址

https://issues.apache.org/jira/browse/SPARK

支持的架构

(https://github.com/docker-library/official-images#architectures-other-than-amd64) https://hub.docker.com/r/amd64/spark/, https://hub.docker.com/r/arm64v8/spark/

发布的镜像工件详情

https://github.com/docker-library/repo-info/blob/master/repos/spark (https://github.com/docker-library/repo-info/commits/master/repos/spark)（镜像元数据、传输大小等）

镜像更新

https://github.com/docker-library/official-images/issues?q=label%3Alibrary%2Fspark https://github.com/docker-library/official-images/blob/master/library/spark (https://github.com/docker-library/official-images/commits/master/library/spark)

描述来源

https://github.com/docker-library/docs/tree/master/spark (https://github.com/docker-library/docs/commits/master/spark)

什么是Apache Spark™？

Apache Spark™是一个多语言引擎，用于在单节点机器或集群上执行数据工程、数据科学和机器学习。它提供Scala、Java、Python和R的高级API，以及支持数据分析通用计算图的优化引擎。它还支持丰富的高级工具包括Spark SQL（用于SQL和DataFrames）、pandas API on Spark（用于pandas工作负载）、MLlib（用于机器学习）、GraphX（用于图处理）和Structured Streaming（用于流处理）。

在线文档

您可以在https://spark.apache.org/documentation.html上找到最新的Spark文档，包括编程指南。本README仅包含基本设置说明。

交互式Scala Shell

开始使用Spark的最简单方法是通过Scala shell：

console
docker run -it docker.xuanyuan.run/amd64/spark /opt/spark/bin/spark-shell

尝试以下命令，应返回1,000,000,000：

scala
scala> spark.range(1000 * 1000 * 1000).count()

交互式Python Shell

开始使用PySpark的最简单方法是通过Python shell：

console
docker run -it docker.xuanyuan.run/amd64/spark:python3 /opt/spark/bin/pyspark

运行以下命令，也应返回1,000,000,000：

python
>>> spark.range(1000 * 1000 * 1000).count()

交互式R Shell

开始在Spark上使用R的最简单方法是通过R shell：

console
docker run -it docker.xuanyuan.run/amd64/spark:r /opt/spark/bin/sparkR

Docker部署方案示例

单节点模式

console
docker run -d -p 8080:8080 --name spark-standalone docker.xuanyuan.run/amd64/spark /opt/spark/bin/spark-class org.apache.spark.deploy.master.Master

集群模式（Docker Compose）

yaml
version: '3'
services:
  spark-master:
    image: docker.xuanyuan.run/amd64/spark
    command: bin/spark-class org.apache.spark.deploy.master.Master
    ports:
      - "7077:7077"
      - "8080:8080"
    environment:
      - SPARK_MASTER_HOST=spark-master
      - SPARK_MASTER_PORT=7077

  spark-worker:
    image: docker.xuanyuan.run/amd64/spark
    command: bin/spark-class org.apache.spark.deploy.worker.Worker spark://spark-master:7077
    depends_on:
      - spark-master
    environment:
      - SPARK_WORKER_CORES=2
      - SPARK_WORKER_MEMORY=2g
    deploy:
      replicas: 2

启动集群：docker-compose up -d

在Kubernetes上运行Spark

https://spark.apache.org/docs/latest/running-on-kubernetes.html

配置和环境变量

详见https://github.com/apache/spark-docker/blob/master/OVERVIEW.md#environment-variable

许可证

Apache Spark、Spark、Apache、Apache feather徽标和Apache Spark项目徽标是Apache软件基金会的商标。 根据https://www.apache.org/licenses/LICENSE-2.0授权。 与所有Docker镜像一样，这些镜像可能包含其他受其他许可证约束的软件（如基础发行版的Bash等及主要软件的依赖项）。 部分自动检测的许可证信息可在https://github.com/docker-library/repo-info/tree/master/repos/spark中找到。 镜像用户有责任确保对镜像的使用符合其中所有软件的相关许可证。

更多相关 Docker 镜像与资源

以下是 amd64/spark 相关的常用 Docker 镜像，适用于 不同场景 等不同场景：

  • bitnami/spark Docker 镜像说明（Apache Spark 大数据处理引擎，Bitnami 企业级配置）
  • library/spark Docker 镜像说明（Apache Spark 大数据处理引擎，官方标准版本）
  • apache/spark Docker 镜像说明（Apache Spark 大数据处理引擎，Apache 官方版本）
  • bitnamicharts/spark Docker 镜像说明（Bitnami Apache Spark 图表栈，适合大数据批处理与分析）
  • apache/hadoop Docker 镜像说明（Apache Hadoop 大数据处理框架，适合分布式存储和计算）

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 spark 镜像标签

docker pull docker.xuanyuan.run/amd64/spark:<标签>

使用方法：

  • 登录认证方式
  • 免认证方式

DockerHub 原生拉取命令

docker pull amd64/spark:<标签>

轩辕镜像配置手册

按平台快速找到配置文档

一键安装

一键安装 Docker

Linux Docker 一键安装

AI

用 AI 使用轩辕镜像

agents.md · AI 对话 · 提示词

Docker

登录仓库拉取

登录认证 · 私有仓库

专属域名拉取

免登录 · 高速拉取

Linux

Docker 镜像配置

Windows / Mac

Docker Desktop 配置

MacOS OrbStack

OrbStack 容器

Apple Container

macOS 原生容器

Docker Compose

Compose 项目配置

NAS

群晖

Synology 配置

飞牛

fnOS 镜像配置

绿联

绿联 NAS

威联通

QNAP 配置

极空间

极空间 NAS

Unraid

Unraid NAS

企业仓库

其他仓库

ghcr · Quay · nvcr

Harbor 镜像源

Proxy Repository 对接

Portainer 镜像源

Registries 配置

Nexus 镜像源

Docker Proxy 缓存

开发工具

Dev Containers

VS Code 开发容器

Podman

Podman 配置指南

Singularity / Apptainer

HPC 科学计算容器

Kubernetes

K8s Containerd

Kubernetes · Containerd

K3s

轻量级集群

面板 / 网络

爱快路由

爱快 4.0 · iKuai 镜像加速

宝塔面板

一键配置镜像源

需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单

镜像拉取常见问题

功能

版本功能对比

功能对比 · 版本选择

支持的镜像仓库

Docker Hub · GCR · GHCR

专属域名用法

专属域名 · 开启停用 · 多仓库

新手拉取配置

登录 · 专属域名 · 配置

docker search 限制

专属域名 · Hub 搜索

不支持 push

仅支持 pull · 不支持

拉取速度原因

带宽 · 缓存 · 冷热镜像

错误码

402 与流量用尽

402 · 流量包 · 充值

401 认证失败

401 · docker login

manifest unknown

标签错误 · 镜像不存在

410 Gone 排查

410 · Docker 升级

429 限流

免费版 · 专业版 · 企业版 · 请求频率

其他报错

DNS 超时

DNS 解析 · 网络超时

TLS 证书失败

no matching manifest（架构）

docker.sock / daemon

账号

失败是否计费

manifest · blob · 计费

申请开票（企业 / 个人）

开票 · 发票 · 工单

修改登录密码

网站 · 仓库 · 重置

注销账户

工单 · 数据 · 注销

原理

mirrors 不生效

daemon.json · 重启

去掉域名前缀

docker tag · 重命名

指定架构拉取

ARM64 · AMD64 · 多架构

latest 与「最新」

digest · 版本号 · 标签

查看全部问题→

用户好评

来自真实用户的反馈，见证轩辕镜像的优质服务

用户头像

oldzhang

运维工程师

Linux服务器

5

"Docker访问体验非常流畅，大镜像也能快速完成下载。"

轩辕镜像
镜像详情
...
amd64/spark
定价查看流量套餐与价格
博客Docker 镜像公告与技术博客
专业版 · 高速稳定拉取镜像
高速镜像下载·在线技术支持·99.95% SLA 保障·付费会员免广告
50GB 仅 ¥8/年
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载·在线技术支持·99.95% SLA 保障·付费会员免广告
用户协议·隐私政策·增值电信业务经营许可证：浙B2-20261007·©2024-2026 源码跳动©2024-2026 杭州源码跳动科技有限公司·商务合作：点击复制邮箱

更多 spark 镜像推荐

spark logo

library/spark

Docker 官方镜像
Apache Spark 是一款专为大规模数据处理打造的统一分析引擎，它集成了批处理、流处理、机器学习、图计算等多种数据处理能力，通过基于内存的计算模型显著提升数据处理速度，具备高效、易用且可扩展的特性，能为企业和开发者提供一站式的大数据分析解决方案，支持从数据提取、清洗、转换到深度分析与应用部署的全流程，满足各类复杂数据场景下的处理需求，助力实现数据驱动的高效决策与业务创新。
122 次收藏100万+ 次下载
15 天前更新
apache/spark logo

apache/spark

Apache 软件基金会镜像
Apache Spark是由Apache软件基金会开发的开源分布式计算系统，专为大数据处理设计，支持批处理、流处理、机器学习和图计算等多种数据处理模式，通过基于内存的计算引擎显著提升处理速度，具备高效、易用且可扩展的特性，广泛应用于数据科学与大数据分析领域，为用户提供快速、灵活的大数据处理解决方案。
99 次收藏1000万+ 次下载
1 个月前更新
bitnamicharts/spark logo

bitnamicharts/spark

bitnamicharts
Bitnami Apache Spark的Helm Chart，用于在Kubernetes集群上部署高性能大规模计算引擎，支持数据处理、机器学习和实时流处理，提供Java、Python、Scala和R的API。
50万+ 次下载
1 年前更新
rancher/spark logo

rancher/spark

rancher
暂无描述
1 次收藏7.3千+ 次下载
10 年前更新
localstack/spark logo

localstack/spark

localstack
暂无描述
4.2千+ 次下载
4 年前更新
intel/spark logo

intel/spark

intel
暂无描述
3.5千+ 次下载
3 年前更新

查看更多 spark 相关镜像