pilchard/spark

CDH Spark 镜像文档

镜像概述

本镜像为Cloudera Distribution Hadoop (CDH) 生态系统中的Apache Spark组件提供容器化部署方案，旨在简化Spark在Hadoop集群环境中的配置与运行流程。Spark作为分布式计算引擎，支持大规模数据处理、实时流处理、机器学习及交互式SQL查询，适用于企业级大数据分析场景。

核心功能与特性

• 分布式计算引擎：基于内存计算，提供高效的批处理和流处理能力
• 多API支持：支持Scala、Java、Python和R等多种编程语言接口
• 生态集成：与Hadoop HDFS、YARN、Hive等组件无缝集成
• 丰富的数据处理模式：支持批处理（Spark Core）、流处理（Spark Streaming/Structured Streaming）、机器学习（MLlib）和图计算（GraphX）
• 交互式分析：内置Spark SQL和Spark Shell，支持实时数据查询与分析

使用场景与适用范围

• 企业级大数据批处理任务（如日志分析、数据ETL）
• 实时流数据处理（如实时监控、实时报表生成）
• 机器学习模型训练与预测（基于MLlib库）
• 交互式数据分析与即席查询（通过Spark SQL或Notebook工具）
• Hadoop集群环境中的Spark任务标准化部署

使用方法与配置说明

环境要求

• 运行环境需支持Docker容器化部署
• 需连接CDH Hadoop集群（HDFS、YARN等服务需提前部署并可访问）
• 建议配置至少4GB内存和2核CPU以保证基础运行性能

镜像获取

bash
docker pull <镜像仓库地址>/cdh-spark:<版本号>

基本运行命令

bash
docker run -it \
  --name cdh-spark \
  --network host \  # 如需直接访问主机网络中的Hadoop服务
  -v /path/to/local/spark-conf:/etc/spark/conf \  # 挂载本地配置文件
  -e SPARK_MASTER=yarn \  # 指定Spark运行模式（yarn/local/standalone）
  -e YARN_RESOURCE_MANAGER=cdh-yarn-manager:8032 \  # YARN资源管理器地址
  <镜像仓库地址>/cdh-spark:<版本号> \
  spark-shell  # 启动Spark交互式Shell

关键配置参数

提交Spark应用示例

bash
docker exec -it cdh-spark \
  spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \
  /opt/spark/examples/jars/spark-examples_2.12-3.3.0.jar \
  100  # 计算圆周率的迭代次数

贡献指南

• 代码规范：提交代码需遵循Spark官方代码风格指南
• 测试要求：新增功能需包含单元测试和集成测试用例
• 文档更新：功能变更需同步更新镜像使用文档
• 提交流程：通过Pull Request提交变更，经代码审核通过后合并

联系方式

• 镜像维护者：CDH生态技术团队
• 问题反馈：通过镜像仓库Issue系统提交
• 社区支持：访问Cloudera Community获取更多帮助