热门搜索:
epahomov/docker-spark
epahomov
自动构建
这是一个Apache Spark客户端Docker镜像，支持Scala、Python、R、SQL等多种Spark Shell，可连接Hadoop集群，提供轻量版和不同版本选择，方便快速部署和使用Spark进行数据分析与开发。
48 次收藏下载次数: 0状态：自动构建维护者：epahomov仓库类型：镜像最近更新：9 年前
让 AI 帮你使用轩辕镜像？ · 展开查看说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
Spark客户端Docker镜像
镜像概述
本仓库包含一个用于运行Apache Spark客户端的Docker镜像，支持多种Spark交互Shell及任务提交，可连接Hadoop集群，提供不同版本和轻量版选择，便于快速部署和使用Spark。
核心功能
- 支持多种Spark Shell：Scala Spark Shell、PySpark（Python）、SparkR、Spark SQL
- 可自定义Spark配置（如修改spark-defaults.conf）
- 支持访问Spark UI（端口4040）
- 可提交Python脚本等Spark任务
- 能够连接Hadoop集群（需挂载Hadoop配置目录）
- 提供多版本选择（不同Spark/Hadoop版本）及轻量版（基于Alpine Linux）
使用场景
- Spark应用开发与调试
- 数据分析任务运行
- 连接Hadoop集群进行分布式计算
- 快速体验Spark核心功能
配置说明与部署示例
运行基础Spark Shell
bash# 轻量版Scala Spark Shell docker run -it epahomov/docker-spark:lightweighted /spark/bin/spark-shell # 轻量版PySpark docker run -it epahomov/docker-spark:lightweighted /spark/bin/pyspark # 标准版SparkR docker run -it epahomov/docker-spark /spark/bin/sparkR # 标准版Spark SQL docker run -it epahomov/docker-spark /spark/bin/spark-sql
修改Spark配置运行Shell
bash# 写入配置到spark-defaults.conf printf "spark.master local[4] \nspark.executor.cores 4" > spark-defaults.conf # 挂载配置文件运行Shell sudo docker run -v $(pwd)/spark-defaults.conf:/spark/conf/spark-defaults.conf -it epahomov/docker-spark /spark/bin/spark-shell
启用Spark UI
bashdocker run -ti -p 4040:4040 epahomov/docker-spark /spark/bin/spark-shell
提交Python脚本
bash# 创建示例脚本count.py echo "import pyspark\nprint(pyspark.SparkContext().parallelize(range(0, 10)).count())" > count.py # 提交脚本 docker run -it -p 4040:4040 -v $(pwd)/count.py:/count.py epahomov/docker-spark /spark/bin/spark-submit /count.py
连接Hadoop集群
bashdocker run -v $(pwd)/hadoop:/etc/hadoop/conf -e "HADOOP_CONF_DIR=/etc/hadoop/conf" --net=host -it epahomov/docker-spark /spark/bin/spark-shell --master yarn-client
版本说明
该镜像提供以下版本：
- java_8_spark_2.0.2_hadoop_2.7
- java_8_spark_2.0.2_hadoop_2.6
- java_8_spark_2.1.0_hadoop_2.7
- java_8_spark_2.1.0_hadoop_2.6
- lightweighted：轻量版（基于Alpine Linux，体积小、下载快）
- old-spark：旧版本（支持Spark集群设置，不再维护，不推荐使用）
主版本为java_8_spark_2.1.0_hadoop_2.7。
扩展说明
本镜像作为https://github.com/epahomov/docker-zeppelin%E7%9A%84%E5%9F%BA%E7%A1%80%E9%95%9C%E5%83%8F%E3%80%82
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 docker-spark 镜像标签
docker pull docker.xuanyuan.run/epahomov/docker-spark:<标签>
DockerHub 原生拉取命令
docker pull epahomov/docker-spark:<标签>
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"