热门搜索:
pilchard/spark
自动构建
pilchard
CDH（Cloudera Distribution Hadoop）中的Apache Spark镜像，用于在Hadoop生态系统中提供分布式数据处理、分析及机器学习能力，支持批处理、流处理和SQL查询等任务。
下载次数: 0状态：自动构建维护者：pilchard仓库类型：镜像最近更新：1 年前
让 AI 帮你使用轩辕镜像？ · 展开查看说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
CDH Spark 镜像文档
镜像概述
本镜像为Cloudera Distribution Hadoop (CDH) 生态系统中的Apache Spark组件提供容器化部署方案，旨在简化Spark在Hadoop集群环境中的配置与运行流程。Spark作为分布式计算引擎，支持大规模数据处理、实时流处理、机器学习及交互式SQL查询，适用于企业级大数据分析场景。
核心功能与特性
- 分布式计算引擎：基于内存计算，提供高效的批处理和流处理能力
- 多API支持：支持Scala、Java、Python和R等多种编程语言接口
- 生态集成：与Hadoop HDFS、YARN、Hive等组件无缝集成
- 丰富的数据处理模式：支持批处理（Spark Core）、流处理（Spark Streaming/Structured Streaming）、机器学习（MLlib）和图计算（GraphX）
- 交互式分析：内置Spark SQL和Spark Shell，支持实时数据查询与分析
使用场景与适用范围
- 企业级大数据批处理任务（如日志分析、数据ETL）
- 实时流数据处理（如实时监控、实时报表生成）
- 机器学习模型训练与预测（基于MLlib库）
- 交互式数据分析与即席查询（通过Spark SQL或Notebook工具）
- Hadoop集群环境中的Spark任务标准化部署
使用方法与配置说明
环境要求
- 运行环境需支持Docker容器化部署
- 需连接CDH Hadoop集群（HDFS、YARN等服务需提前部署并可访问）
- 建议配置至少4GB内存和2核CPU以保证基础运行性能
镜像获取
bashdocker pull <镜像仓库地址>/cdh-spark:<版本号>
基本运行命令
bashdocker run -it \ --name cdh-spark \ --network host \ # 如需直接访问主机网络中的Hadoop服务 -v /path/to/local/spark-conf:/etc/spark/conf \ # 挂载本地配置文件 -e SPARK_MASTER=yarn \ # 指定Spark运行模式（yarn/local/standalone） -e YARN_RESOURCE_MANAGER=cdh-yarn-manager:8032 \ # YARN资源管理器地址 <镜像仓库地址>/cdh-spark:<版本号> \ spark-shell # 启动Spark交互式Shell
关键配置参数
| 环境变量 | 说明 | 默认值 |
|---|---|---|
SPARK_MASTER | Spark运行模式（yarn/local/standalone） | yarn |
SPARK_DRIVER_MEMORY | Driver进程内存大小 | 1g |
SPARK_EXECUTOR_MEMORY | Executor进程内存大小 | 2g |
YARN_RESOURCE_MANAGER | YARN资源管理器地址 | localhost:8032 |
HDFS_NAMENODE | HDFS namenode地址 | hdfs://localhost:8020 |
提交Spark应用示例
bashdocker exec -it cdh-spark \ spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ /opt/spark/examples/jars/spark-examples_2.12-3.3.0.jar \ 100 # 计算圆周率的迭代次数
贡献指南
- 代码规范：提交代码需遵循Spark官方代码风格指南
- 测试要求：新增功能需包含单元测试和集成测试用例
- 文档更新：功能变更需同步更新镜像使用文档
- 提交流程：通过Pull Request提交变更，经代码审核通过后合并
联系方式
- 镜像维护者：CDH生态技术团队
- 问题反馈：通过镜像仓库Issue系统提交
- 社区支持：访问Cloudera Community获取更多帮助
更多相关 Docker 镜像与资源
以下是 pilchard/spark 相关的常用 Docker 镜像，适用于 不同场景 等不同场景：
- library/spark Docker 镜像说明（Apache Spark 大数据处理引擎，官方标准版本）
- apache/spark Docker 镜像说明（Apache Spark 大数据处理引擎，Apache 官方版本）
- bitnamicharts/spark Docker 镜像说明（Bitnami Apache Spark 图表栈，适合大数据批处理与分析）
- library/flink Docker 镜像说明（Apache Flink，流处理和批处理大数据引擎）
- apache/hadoop Docker 镜像说明（Apache Hadoop 大数据处理框架，适合分布式存储和计算）
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull pilchard/spark:<标签>
更多 spark 镜像推荐
library/spark
Docker 官方镜像
Apache Spark 是一款专为大规模数据处理打造的统一分析引擎，它集成了批处理、流处理、机器学习、图计算等多种数据处理能力，通过基于内存的计算模型显著提升数据处理速度，具备高效、易用且可扩展的特性，能为企业和开发者提供一站式的大数据分析解决方案，支持从数据提取、清洗、转换到深度分析与应用部署的全流程，满足各类复杂数据场景下的处理需求，助力实现数据驱动的高效决策与业务创新。
120 次收藏100万+ 次下载
23 天前更新
apache/spark
Apache 软件基金会镜像
Apache Spark是由Apache软件基金会开发的开源分布式计算系统，专为大数据处理设计，支持批处理、流处理、机器学习和图计算等多种数据处理模式，通过基于内存的计算引擎显著提升处理速度，具备高效、易用且可扩展的特性，广泛应用于数据科学与大数据分析领域，为用户提供快速、灵活的大数据处理解决方案。
98 次收藏1000万+ 次下载
24 天前更新
bitnamicharts/spark
bitnamicharts
Bitnami Apache Spark的Helm Chart，用于在Kubernetes集群上部署高性能大规模计算引擎，支持数据处理、机器学习和实时流处理，提供Java、Python、Scala和R的API。
50万+ 次下载
10 个月前更新
rancher/spark
rancher
暂无描述
1 次收藏4.7千+ 次下载
10 年前更新
intel/spark
intel
暂无描述
3千+ 次下载
3 年前更新
localstack/spark
localstack
暂无描述
557 次下载
4 年前更新
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"