pilchard/spark Docker Image Overview

pilchard/spark

自动构建

pilchard

CDH（Cloudera Distribution Hadoop）中的Apache Spark镜像，用于在Hadoop生态系统中提供分布式数据处理、分析及机器学习能力，支持批处理、流处理和SQL查询等任务。

下载次数: 0状态：自动构建维护者：pilchard仓库类型：镜像最近更新：1 年前

轩辕镜像，不浪费每一次拉取。点击查看

中文简介版本下载

轩辕镜像，不浪费每一次拉取。点击查看

CDH Spark 镜像文档

镜像概述

本镜像为Cloudera Distribution Hadoop (CDH) 生态系统中的Apache Spark组件提供容器化部署方案，旨在简化Spark在Hadoop集群环境中的配置与运行流程。Spark作为分布式计算引擎，支持大规模数据处理、实时流处理、机器学习及交互式SQL查询，适用于企业级大数据分析场景。

核心功能与特性

分布式计算引擎：基于内存计算，提供高效的批处理和流处理能力
多API支持：支持Scala、Java、Python和R等多种编程语言接口
生态集成：与Hadoop HDFS、YARN、Hive等组件无缝集成
丰富的数据处理模式：支持批处理（Spark Core）、流处理（Spark Streaming/Structured Streaming）、机器学习（MLlib）和图计算（GraphX）
交互式分析：内置Spark SQL和Spark Shell，支持实时数据查询与分析

使用场景与适用范围

企业级大数据批处理任务（如日志分析、数据ETL）
实时流数据处理（如实时监控、实时报表生成）
机器学习模型训练与预测（基于MLlib库）
交互式数据分析与即席查询（通过Spark SQL或Notebook工具）
Hadoop集群环境中的Spark任务标准化部署

使用方法与配置说明

环境要求

运行环境需支持Docker容器化部署
需连接CDH Hadoop集群（HDFS、YARN等服务需提前部署并可访问）
建议配置至少4GB内存和2核CPU以保证基础运行性能

镜像获取

bash
docker pull <镜像仓库地址>/cdh-spark:<版本号>

基本运行命令

bash
docker run -it \
  --name cdh-spark \
  --network host \  # 如需直接访问主机网络中的Hadoop服务
  -v /path/to/local/spark-conf:/etc/spark/conf \  # 挂载本地配置文件
  -e SPARK_MASTER=yarn \  # 指定Spark运行模式（yarn/local/standalone）
  -e YARN_RESOURCE_MANAGER=cdh-yarn-manager:8032 \  # YARN资源管理器地址
  <镜像仓库地址>/cdh-spark:<版本号> \
  spark-shell  # 启动Spark交互式Shell

关键配置参数

环境变量	说明	默认值
`SPARK_MASTER`	Spark运行模式（yarn/local/standalone）	`yarn`
`SPARK_DRIVER_MEMORY`	Driver进程内存大小	`1g`
`SPARK_EXECUTOR_MEMORY`	Executor进程内存大小	`2g`
`YARN_RESOURCE_MANAGER`	YARN资源管理器地址	`localhost:8032`
`HDFS_NAMENODE`	HDFS namenode地址	`hdfs://localhost:8020`

提交Spark应用示例

bash
docker exec -it cdh-spark \
  spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \
  /opt/spark/examples/jars/spark-examples_2.12-3.3.0.jar \
  100  # 计算圆周率的迭代次数