本站支持搜索的镜像仓库:Docker Hub、gcr.io、ghcr.io、quay.io、k8s.gcr.io、registry.gcr.io、elastic.co、mcr.microsoft.com

Apache Spark 团队
Apache Spark™ 社区
以下是可用的镜像标签及其对应的 Dockerfile 源码链接,标签按功能和版本分类:
4.0.0 版本(Java 21 基础)
4.0.0-scala2.13-java21-python3-ubuntu、4.0.0-java21-python3、4.0.0-java21、python3、latest4.0.0-scala2.13-java21-r-ubuntu、4.0.0-java21-r4.0.0-scala2.13-java21-ubuntu、4.0.0-java21-scala4.0.0-scala2.13-java21-python3-r-ubuntu4.0.0 版本(Java 17 基础)
4.0.0-scala2.13-java17-python3-ubuntu、4.0.0-python3、4.0.0、python3-java174.0.0-scala2.13-java17-r-ubuntu、4.0.0-r、r4.0.0-scala2.13-java17-ubuntu、4.0.0-scala、scala4.0.0-scala2.13-java17-python3-r-ubuntu3.5.7 版本(Java 17/11 基础)
3.5.7-scala2.12-java17-python3-ubuntu、3.5.7-java17-python3、3.5.7-java17 等3.5.7-scala2.12-java11-python3-ubuntu、3.5.7-python3、3.5.7 等Apache JIRA SPARK 项目
amd64:amd64/sparkarm64v8:arm64v8/sparkdocs 仓库的 spark 目录(含历史记录)
Apache Spark™ 是一个多语言引擎,用于在单机或集群上执行数据工程、数据科学和机器学任务。它提供 Scala、Java、Python 和 R 的高级 API,以及支持数据分析通用计算图的优化引擎。同时,它还包含丰富的高级工具:用于 SQL 和 DataFrames 的 Spark SQL、用于 pandas 工作负载的 pandas API on Spark、机器学库 MLlib、图处理工具 GraphX,以及流处理工具 Structured Streaming。
最新 Spark 文档(含编程指南)可在 项目官网 查看。本文档仅包含基础使用说明。
启动 Scala 交互式 shell 的最简单方式:
docker run -it spark /opt/spark/bin/spark-shell
示例代码(应返回 1000000000):
scala> spark.range(1000 * 1000 * 1000).count()
启动 PySpark 交互式 shell:
docker run -it spark:python3 /opt/spark/bin/pyspark
示例代码(应返回 1000000000):
>>> spark.range(1000 * 1000 * 1000).count()
启动 SparkR 交互式 shell:
docker run -it spark:r /opt/spark/bin/sparkR
详细指南:官方文档
环境变量说明:spark-docker 仓库 OVERVIEW.md
Apache Spark、Spark、Apache、Apache 羽标 logo 及 Apache Spark 项目 logo 均为 Apache 软件基金会的商标。
本软件基于 Apache 许可证 2.0 版 授权。
与所有 Docker 镜像一样,本镜像可能包含其他软件(如基础系统的 Bash 等),这些软件可能采用其他许可证。部分自动检测到的许可证信息可在 repo-info 仓库的 spark 目录 查看。
使用预构建镜像时,用户需自行确保对镜像中所有软件的使用符合相关许可证要求。

免费版仅支持 Docker Hub 加速,不承诺可用性和速度;专业版支持更多镜像源,保证可用性和稳定速度,提供优先客服响应。
免费版仅支持 docker.io;专业版支持 docker.io、gcr.io、ghcr.io、registry.k8s.io、nvcr.io、quay.io、mcr.microsoft.com、docker.elastic.co 等。
当返回 402 Payment Required 错误时,表示流量已耗尽,需要充值流量包以恢复服务。
通常由 Docker 版本过低导致,需要升级到 20.x 或更高版本以支持 V2 协议。
先检查 Docker 版本,版本过低则升级;版本正常则验证镜像信息是否正确。
使用 docker tag 命令为镜像打上新标签,去掉域名前缀,使镜像名称更简洁。
探索更多轩辕镜像的使用方法,找到最适合您系统的配置方式
通过 Docker 登录方式配置轩辕镜像加速服务,包含7个详细步骤
在 Linux 系统上配置轩辕镜像源,支持主流发行版
在 Docker Desktop 中配置轩辕镜像加速,适用于桌面系统
在 Docker Compose 中使用轩辕镜像加速,支持容器编排
在 k8s 中配置 containerd 使用轩辕镜像加速
在宝塔面板中配置轩辕镜像加速,提升服务器管理效率
在 Synology 群晖NAS系统中配置轩辕镜像加速
在飞牛fnOS系统中配置轩辕镜像加速
在极空间NAS中配置轩辕镜像加速
在爱快ikuai系统中配置轩辕镜像加速
在绿联NAS系统中配置轩辕镜像加速
在威联通NAS系统中配置轩辕镜像加速
在 Podman 中配置轩辕镜像加速,支持多系统
配置轩辕镜像加速9大主流镜像仓库,包含详细配置步骤
无需登录即可使用轩辕镜像加速服务,更加便捷高效
需要其他帮助?请查看我们的 常见问题 或 官方QQ群: 13763429