apache/spark Docker 镜像 - 轩辕镜像
镜像简介
Apache Spark是由Apache软件基金会开发的开源分布式计算系统，专为大数据处理设计，支持批处理、流处理、机器学习和图计算等多种数据处理模式，通过基于内存的计算引擎显著提升处理速度，具备高效、易用且可扩展的特性，广泛应用于数据科学与大数据分析领域，为用户提供快速、灵活的大数据处理解决方案。
镜像统计信息
收藏数: 97
下载次数: 21303449
状态: active
发布者: apache
类型: 镜像
apache/sparkApache Spark是由Apache软件基金会开发的开源分布式计算系统，专为大数据处理设计，支持批处理、流处理、机器学习和图计算等多种数据处理模式，通过基于内存的计算引擎显著提升处理速度，具备高效、易用且可扩展的特性，广泛应用于数据科学与大数据分析领域，为用户提供快速、灵活的大数据处理解决方案。
97 收藏0 次下载activeapache镜像
Apache Spark
Apache Spark™ 是一款多语言引擎，适用于在单节点机器或集群上执行数据工程、数据科学和机器学习任务。它提供 Scala、Java、Python 和 R 的高级 API，以及支持数据分析通用计算图的优化引擎。同时，Spark 还包含一系列丰富的高级工具，具体包括：用于 SQL 和 DataFrames 的 Spark SQL、适用于 pandas 工作负载的 pandas API on Spark、机器学习库 MLlib、图处理工具 GraphX，以及流处理组件 Structured Streaming。
<[***]>
在线文档
最新的 Spark 文档（含编程指南）可在 项目网页 查看。本 README 文件仅包含基本的环境设置说明。
交互式 Scala Shell
使用 Spark 最简单的方式是通过交互式 Scala Shell：
bashdocker run -it apache/spark /opt/spark/bin/spark-shell
尝试以下命令，预期返回结果为 1,000,000,000：
scalascala> spark.range(1000 * 1000 * 1000).count()
在 Kubernetes 上运行 Spark
相关文档请参见：<[***]>
在 Spark 上运行 Python
可使用 Docker 镜像：<[***]>
在 Spark 上运行 R
可使用 Docker 镜像：<[***]>
相关 Docker 镜像推荐
以下是 apache/spark 相关的常用 Docker 镜像，适用于 不同场景 等不同场景：
- bitnami/spark Docker 镜像说明（Apache Spark 大数据处理引擎，Bitnami 企业级配置）
- library/spark Docker 镜像说明（Apache Spark 大数据处理引擎，官方标准版本）
- library/flink Docker 镜像说明（Apache Flink，流处理和批处理大数据引擎）
- apache/hadoop Docker 镜像说明（Apache Hadoop 大数据处理框架，适合分布式存储和计算）
- bitnami/flink Docker 镜像说明（Apache Flink 流处理引擎，Bitnami 企业级配置）
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 版本下载页面。
相关镜像推荐
spark
by library
官方
Apache Spark 是一款专为大规模数据处理打造的统一分析引擎，它集成了批处理、流处理、机器学习、图计算等多种数据处理能力，通过基于内存的计算模型显著提升数据处理速度，具备高效、易用且可扩展的特性，能为企业和开发者提供一站式的大数据分析解决方案，支持从数据提取、清洗、转换到深度分析与应用部署的全流程，满足各类复杂数据场景下的处理需求，助力实现数据驱动的高效决策与业务创新。
1121M+ pulls
上次更新：1 个月前
bitnami/spark
by VMware
认证
比特纳米Spark安全镜像是一种为Apache Spark大数据处理框架提供的预配置、安全加固的软件镜像，它集成了必要的依赖组件，经过严格的安全审查与漏洞修复，支持快速部署和持续更新，确保用户能够便捷、安全地搭建和运行Spark集群，适用于企业级大数据分析、数据处理等场景，满足合规性要求并有效降低运维复杂度。
18510M+ pulls
上次更新：5 个月前
bitnamicharts/spark
by VMware
认证
Bitnami Apache Spark的Helm Chart，用于在Kubernetes集群上部署高性能大规模计算引擎，支持数据处理、机器学习和实时流处理，提供Java、Python、Scala和R的API。
100K+ pulls
上次更新：5 个月前
rancher/spark
by Rancher by SUSE
认证
暂无描述
13.4K pulls
上次更新：10 年前
sparkfhir/spark
by sparkfhir
Spark FHIR Server是一个基于FHIR标准的开源医疗数据服务器，用于存储、查询、交换和管理医疗保健资源，支持医疗数据的标准化互操作。
110K+ pulls
上次更新：2 个月前
saagie/spark
by saagie
暂无描述
1M+ pulls
上次更新：7 个月前
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
登录仓库拉取
通过 Docker 登录认证访问私有仓库
Linux
在 Linux 系统配置镜像服务
Windows/Mac
在 Docker Desktop 配置镜像
Docker Compose
Docker Compose 项目配置
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
宝塔面板
在宝塔面板一键配置镜像
群晖
Synology 群晖 NAS 配置
飞牛
飞牛 fnOS 系统配置镜像
极空间
极空间 NAS 系统配置服务
爱快路由
爱快 iKuai 路由系统配置
绿联
绿联 NAS 系统配置镜像
威联通
QNAP 威联通 NAS 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
专属域名拉取
无需登录使用专属域名
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
轩辕镜像免费版与专业版有什么区别？
免费版仅支持 Docker Hub 访问，不承诺可用性和速度；专业版支持更多镜像源，保证可用性和稳定速度，提供优先客服响应。
轩辕镜像支持哪些镜像仓库？
专业版支持 docker.io、gcr.io、ghcr.io、registry.k8s.io、nvcr.io、quay.io、mcr.microsoft.com、docker.elastic.co 等；免费版仅支持 docker.io。
流量耗尽错误提示
当返回 402 Payment Required 错误时，表示流量已耗尽，需要充值流量包以恢复服务。
410 错误问题
通常由 Docker 版本过低导致，需要升级到 20.x 或更高版本以支持 V2 协议。
manifest unknown 错误
先检查 Docker 版本，版本过低则升级；版本正常则验证镜像信息是否正确。
镜像拉取成功后，如何去掉轩辕镜像域名前缀？
使用 docker tag 命令为镜像打上新标签，去掉域名前缀，使镜像名称更简洁。
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"