apache/spark 镜像说明 | Docker Apache Spark 镜像说明与拉取方式

apache/spark

Apache Spark是由Apache软件基金会开发的开源分布式计算系统，专为大数据处理设计，支持批处理、流处理、机器学习和图计算等多种数据处理模式，通过基于内存的计算引擎显著提升处理速度，具备高效、易用且可扩展的特性，广泛应用于数据科学与大数据分析领域，为用户提供快速、灵活的大数据处理解决方案。

97 次收藏下载次数: 0状态：社区镜像维护者：Apache 软件基金会镜像仓库类型：镜像

🔒 更安全的专业镜像服务

版本下载

🔒 更安全的专业镜像服务

Apache Spark

Apache Spark™ 是一款多语言引擎，适用于在单节点机器或集群上执行数据工程、数据科学和机器学习任务。它提供 Scala、Java、Python 和 R 的高级 API，以及支持数据分析通用计算图的优化引擎。同时，Spark 还包含一系列丰富的高级工具，具体包括：用于 SQL 和 DataFrames 的 Spark SQL、适用于 pandas 工作负载的 pandas API on Spark、机器学习库 MLlib、图处理工具 GraphX，以及流处理组件 Structured Streaming。

<[***]>

在线文档

最新的 Spark 文档（含编程指南）可在项目网页查看。本 README 文件仅包含基本的环境设置说明。

交互式 Scala Shell

使用 Spark 最简单的方式是通过交互式 Scala Shell：

bash
docker run -it apache/spark /opt/spark/bin/spark-shell

尝试以下命令，预期返回结果为 1,000,000,000：

scala
scala> spark.range(1000 * 1000 * 1000).count()

在 Kubernetes 上运行 Spark

在 Spark 上运行 Python

可使用 Docker 镜像：<[***]>

在 Spark 上运行 R

可使用 Docker 镜像：<[***]>

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问版本下载页面。

国内拉取方式

docker pull docker.xuanyuan.run/apache/spark:<标签>

使用方法：

官方拉取方式

docker pull apache/spark:<标签>

相关镜像推荐

spark

Docker 官方镜像

Apache Spark 是一款专为大规模数据处理打造的统一分析引擎，它集成了批处理、流处理、机器学习、图计算等多种数据处理能力，通过基于内存的计算模型显著提升数据处理速度，具备高效、易用且可扩展的特性，能为企业和开发者提供一站式的大数据分析解决方案，支持从数据提取、清洗、转换到深度分析与应用部署的全流程，满足各类复杂数据场景下的处理需求，助力实现数据驱动的高效决策与业务创新。

比特纳米Spark安全镜像是一种为Apache Spark大数据处理框架提供的预配置、安全加固的软件镜像，它集成了必要的依赖组件，经过严格的安全审查与漏洞修复，支持快速部署和持续更新，确保用户能够便捷、安全地搭建和运行Spark集群，适用于企业级大数据分析、数据处理等场景，满足合规性要求并有效降低运维复杂度。

Bitnami Apache Spark的Helm Chart，用于在Kubernetes集群上部署高性能大规模计算引擎，支持数据处理、机器学习和实时流处理，提供Java、Python、Scala和R的API。

Spark FHIR Server是一个基于FHIR标准的开源医疗数据服务器，用于存储、查询、交换和管理医疗保健资源，支持医疗数据的标准化互操作。

轩辕镜像配置手册

探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式

Docker 配置

登录仓库拉取

通过 Docker 登录认证访问私有仓库

专属域名拉取

无需登录使用专属域名

K8s Containerd

Kubernetes 集群配置 Containerd

K3s

K3s 轻量级 Kubernetes 镜像加速

Dev Containers

VS Code Dev Containers 配置

Podman

Podman 容器引擎配置

Singularity/Apptainer

HPC 科学计算容器配置

其他仓库配置

ghcr、Quay、nvcr 等镜像仓库

系统配置

Linux

在 Linux 系统配置镜像服务

Windows/Mac

在 Docker Desktop 配置镜像

MacOS OrbStack

MacOS OrbStack 容器配置

Docker Compose

Docker Compose 项目配置

NAS 设备

群晖

Synology 群晖 NAS 配置

飞牛

飞牛 fnOS 系统配置镜像

绿联

绿联 NAS 系统配置镜像

威联通

QNAP 威联通 NAS 配置

极空间

极空间 NAS 系统配置服务

网络设备

爱快路由

爱快 iKuai 路由系统配置

宝塔面板

在宝塔面板一键配置镜像

需要其他帮助？请查看我们的常见问题Docker 镜像访问常见问题解答或提交工单

镜像拉取常见问题

使用与功能问题

docker search 报错：专属域名下仅支持 Docker Hub 查询

docker search 报错问题

网页搜不到镜像：Docker Hub 有但轩辕镜像搜索无结果

镜像搜索不到

离线传输镜像：无法直连时用 docker save/load 迁移

离线传输镜像

Docker 插件安装错误：application/vnd.docker.plugin.v1+json

Docker 插件安装错误

WSL 下 Docker 拉取慢：网络与挂载目录影响及优化

WSL 拉取镜像慢

轩辕镜像是否安全？镜像完整性校验（digest）说明

镜像安全性

如何用轩辕镜像拉取镜像？登录方式与专属域名配置

如何拉取镜像

错误码与失败问题

manifest unknown 错误：镜像不存在或标签错误

manifest unknown 错误

TLS/SSL 证书验证失败：Docker pull 时 HTTPS 证书错误

TLS 证书验证失败

DNS 解析超时：无法解析镜像仓库地址或连接超时

DNS 解析超时

410 Gone 错误：Docker 版本过低导致协议不兼容

410 错误：版本过低

402 Payment Required 错误：流量耗尽错误提示

402 错误：流量耗尽

401 UNAUTHORIZED 错误：身份认证失败或登录信息错误

身份认证失败错误

429 Too Many Requests 错误：请求频率超出专业版限制

429 限流错误

Docker login 凭证保存错误：Cannot autolaunch D-Bus（不影响登录）

凭证保存错误

账号 / 计费 / 权限

免费版与专业版区别：功能、限额与使用场景对比

免费版与专业版区别

支持的镜像仓库：Docker Hub、GCR、GHCR、K8s 等列表

轩辕镜像支持的镜像仓库

拉取失败是否扣流量？计费规则说明

拉取失败流量计费

KYSEC 权限不够：麒麟 V10/统信 UOS 下脚本执行被拦截

KYSEC 权限错误

如何申请开具发票？（增值税普票/专票）

开具发票

如何修改网站与仓库登录密码？

修改网站和仓库密码

配置与原理类

registry-mirrors 未生效：仍访问官方仓库或报错的原因

registry-mirrors 未生效

如何去掉镜像名称中的轩辕域名前缀？（docker tag）

去掉域名前缀

如何拉取指定架构镜像？（ARM64/AMD64 等多架构）

拉取指定架构镜像

查看全部问题→

用户好评

来自真实用户的反馈，见证轩辕镜像的优质服务

oldzhang

运维工程师

Linux服务器

"Docker访问体验非常流畅，大镜像也能快速完成下载。"