热门搜索:
gradiant/spark
自动构建
gradiant
这是Apache Spark的Docker镜像，支持本地运行、Standalone部署、Kubernetes集群运行，包含Kafka库及PySpark、SparkR衍生版本，用于大数据处理与分析。
4 次收藏下载次数: 0状态：自动构建维护者：gradiant仓库类型：镜像最近更新：6 年前
让 AI 帮你使用轩辕镜像？ · 展开查看说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
gradiant/spark 镜像说明
镜像概述
这是Apache Spark的Docker镜像。该镜像基于openjdk:8u171-jre-alpine3.8，体积小巧，包含Kafka库，还提供支持PySpark的衍生镜像（gradiant/spark:2.4.0-python）和支持SparkR的衍生镜像（gradiant/spark:2.4.0-R）。
核心功能
- 支持本地运行Spark计算任务
- 支持部署Spark Standalone集群（Master+Worker节点）
- 支持作为Spark客户端向集群提交任务
- 支持在Kubernetes集群上运行Spark作业
使用场景
- 大数据分析任务的本地测试验证
- 构建轻量级Spark Standalone分布式计算集群
- 向现有Spark集群提交批处理或流处理任务
- 在Kubernetes环境中弹性部署Spark作业
配置说明与部署示例
本地Spark运行
示例：在容器内本地执行Spark Pi计算任务
docker run -ti gradiant/spark:2.4.0 spark-submit \ --master local[*] \ --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.11-2.4.0.jar 100
Spark Standalone部署
Master节点容器
执行standalone master命令启动Master节点：
docker run -d gradiant/spark standalone master
可选环境变量配置：
- SPARK_MASTER_HOST：默认容器主机名
- SPARK_MASTER_PORT：默认7077（可选）
- SPARK_MASTER_WEBUI_PORT：默认8080（可选）
Worker节点容器
执行standalone worker <master_url>命令启动Worker节点：
docker run -d gradiant/spark standalone worker <master_url> [options]
参数说明：
<master_url>：必须为spark://hostname:port格式的Master地址- 选项：
-c CORES：Worker使用的核心数-m MEM：Worker使用的内存量（如1000M、2G）
可选环境变量配置：
- SPARK_WORKER_PORT：Worker端口（未设置则自动分配）
- SPARK_WORKER_WEBUI_PORT：Worker Web界面端口（默认8081）
Standalone集群示例（测试用）
docker network create sparknet docker run -d -p 8080:8080 --name spark-master gradiant/spark standalone master docker run -d --net sparknet --name spark-worker1 gradiant/spark:2.4.0 standalone worker spark://spark-master:7077 docker run -d --net sparknet --name spark-worker2 gradiant/spark:2.4.0 standalone worker spark://spark-master:7077 docker run -d --net sparknet --name spark-worker3 gradiant/spark:2.4.0 standalone worker spark://spark-master:7077
Spark客户端提交任务
向上述Standalone集群提交Pi任务示例：
docker run -ti --net sparknet --rm gradiant/spark:2.4.0 spark-submit \ --master spark://spark-master:7077 \ --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.11-2.4.0.jar 100
Spark on Kubernetes
参考官方文档，以下是在K8s集群提交任务的示例。
前提条件
- Kubernetes集群（已验证1.11.8版本）
- 创建有权限的ServiceAccount：
kubectl create serviceaccount spark kubectl create rolebinding spark-role --clusterrole=edit --serviceaccount=default:spark --namespace=default
提交任务步骤
- 启动K8s API本地代理：
kubectl proxy
API地址：http://127.0.0.1:8001
- 提交Spark Pi任务到K8s：
docker run --rm -ti --net host gradiant/spark:2.4.0 spark-submit \ --master k8s://http://127.0.0.1:8001 \ --deploy-mode cluster \ --name spark-pi \ --class org.apache.spark.examples.SparkPi \ --conf spark.executor.instances=2 \ --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \ --conf spark.kubernetes.container.image=gradiant/spark:2.4.0 \ --conf spark.kubernetes.executor.request.cores=0.2 \ --executor-memory 500M \ $SPARK_HOME/examples/jars/spark-examples_2.11-2.4.0.jar 100
注意：上述配置为测试用，资源参数设置较低，适合资源有限的集群。可通过K8s Dashboard查看Driver Pod状态及日志。
更多相关 Docker 镜像与资源
以下是 gradiant/spark 相关的常用 Docker 镜像，适用于 不同场景 等不同场景：
- library/spark Docker 镜像说明（Apache Spark 大数据处理引擎，官方标准版本）
- apache/spark Docker 镜像说明（Apache Spark 大数据处理引擎，Apache 官方版本）
- bitnamicharts/spark Docker 镜像说明（Bitnami Apache Spark 图表栈，适合大数据批处理与分析）
- library/flink Docker 镜像说明（Apache Flink，流处理和批处理大数据引擎）
- apache/hadoop Docker 镜像说明（Apache Hadoop 大数据处理框架，适合分布式存储和计算）
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull gradiant/spark:<标签>
更多 spark 镜像推荐
library/spark
Docker 官方镜像
Apache Spark 是一款专为大规模数据处理打造的统一分析引擎，它集成了批处理、流处理、机器学习、图计算等多种数据处理能力，通过基于内存的计算模型显著提升数据处理速度，具备高效、易用且可扩展的特性，能为企业和开发者提供一站式的大数据分析解决方案，支持从数据提取、清洗、转换到深度分析与应用部署的全流程，满足各类复杂数据场景下的处理需求，助力实现数据驱动的高效决策与业务创新。
120 次收藏100万+ 次下载
27 天前更新
apache/spark
Apache 软件基金会镜像
Apache Spark是由Apache软件基金会开发的开源分布式计算系统，专为大数据处理设计，支持批处理、流处理、机器学习和图计算等多种数据处理模式，通过基于内存的计算引擎显著提升处理速度，具备高效、易用且可扩展的特性，广泛应用于数据科学与大数据分析领域，为用户提供快速、灵活的大数据处理解决方案。
98 次收藏1000万+ 次下载
1 个月前更新
bitnamicharts/spark
bitnamicharts
Bitnami Apache Spark的Helm Chart，用于在Kubernetes集群上部署高性能大规模计算引擎，支持数据处理、机器学习和实时流处理，提供Java、Python、Scala和R的API。
50万+ 次下载
10 个月前更新
rancher/spark
rancher
暂无描述
1 次收藏4.4千+ 次下载
10 年前更新
intel/spark
intel
暂无描述
3千+ 次下载
3 年前更新
localstack/spark
localstack
暂无描述
557 次下载
4 年前更新
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"