arm64v8/spark

arm64v8/spark Docker镜像文档

镜像概述和主要用途

arm64v8/spark 是针对ARM64架构优化的Apache Spark官方Docker镜像，基于https://hub.docker.com/_/spark%E7%9A%84%60arm64v8%60%E6%9E%B6%E6%9E%84%E6%9E%84%E5%BB%BA%E7%89%88%E6%9C%AC%E3%80%82Apache Spark是一个统一的大数据分析引擎，支持大规模数据处理、数据科学和机器学习任务，提供多语言API（Scala、Java、Python、R）及分布式计算能力。该镜像适用于在ARM64架构环境中快速部署和运行Spark应用，简化大数据处理流程。

核心功能和特性

多语言支持

• 原生支持Scala、Java、Python和R编程语言，满足不同技术栈需求
• 提供交互式Shell（spark-shell、pyspark、sparkR），便于实时数据分析和调试

高性能计算

• 基于内存计算模型，显著提升迭代式算法和交互式查询性能
• 支持分布式计算，可在单节点或集群环境中扩展处理能力

丰富的分析工具

• Spark SQL：支持SQL查询和DataFrame API，兼容Hive元数据
• MLlib：内置机器学习库，提供分类、回归、聚类等算法
• GraphX：图处理引擎，支持复杂关系数据分析
• Structured Streaming：实时流处理框架，支持增量数据处理

灵活部署

• 支持独立集群模式、YARN、Kubernetes等多种部署环境
• 基于Ubuntu系统构建，依赖管理清晰，环境一致性高

使用场景和适用范围

• 大数据批处理：日志分析、数据ETL、大规模数据集转换
• 数据科学研究：通过交互式Shell进行探索性数据分析
• 机器学习工程：利用MLlib训练和部署机器学习模型
• 实时数据处理：通过Structured Streaming处理流数据（如日志流、传感器数据）
• ARM64架构环境：适用于ARM服务器、边缘计算设备等ARM64平台的大数据场景

支持的标签及Dockerfile链接

使用方法和配置说明

交互式Shell

Scala Shell

通过Scala Shell快速开始Spark交互：

bash
docker run -it arm64v8/spark /opt/spark/bin/spark-shell

示例命令（返回1,000,000,000）：

scala
scala> spark.range(1000 * 1000 * 1000).count()

Python Shell（PySpark）

使用Python Shell需指定python3标签：

bash
docker run -it arm64v8/spark:python3 /opt/spark/bin/pyspark

示例命令：

python
>>> spark.range(1000 * 1000 * 1000).count()

R Shell（SparkR）

使用R Shell需指定r标签：

bash
docker run -it arm64v8/spark:r /opt/spark/bin/sparkR

Docker部署示例

单节点Spark集群（docker run）

启动Spark Master节点：

bash
docker run -d \
  --name spark-master \
  -p 7077:7077 \
  -p 8080:8080 \
  arm64v8/spark \
  /opt/spark/bin/spark-class org.apache.spark.deploy.master.Master

启动Spark Worker节点（连接到Master）：

bash
docker run -d \
  --name spark-worker \
  --link spark-master:master \
  arm64v8/spark \
  /opt/spark/bin/spark-class org.apache.spark.deploy.worker.Worker spark://master:7077

Docker Compose配置（单节点集群）

创建docker-compose.yml：

yaml
version: '3'
services:
  master:
    image: arm64v8/spark
    container_name: spark-master
    ports:
      - "7077:7077"  # Master节点端口
      - "8080:8080"  # Web UI端口
    command: /opt/spark/bin/spark-class org.apache.spark.deploy.master.Master

  worker:
    image: arm64v8/spark
    container_name: spark-worker
    depends_on:
      - master
    environment:
      - SPARK_MASTER=spark://master:7077
    command: /opt/spark/bin/spark-class org.apache.spark.deploy.worker.Worker ${SPARK_MASTER}

启动集群：

bash
docker-compose up -d

Kubernetes部署

Spark支持在Kubernetes上部署，详细文档参见官方指南。

环境变量配置

镜像支持通过环境变量自定义Spark配置，常见配置项及说明参见https://github.com/apache/spark-docker/blob/master/OVERVIEW.md#environment-variable%E3%80%82%E5%85%B3%E9%94%AE%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%E5%8C%85%E6%8B%AC%EF%BC%9A

• SPARK_HOME：Spark安装路径（默认/opt/spark）
• SPARK_MASTER：Master节点地址（如spark://master:7077）
• SPARK_WORKER_CORES：Worker节点可用CPU核心数
• SPARK_WORKER_MEMORY：Worker节点可用内存（如4g）

维护与支持

• 维护方：Apache Spark团队
• 获取帮助：Apache Spark社区
• 问题反馈：Apache JIRA (SPARK项目)

许可证

Apache Spark及其Docker镜像基于Apache License 2.0许可。镜像可能包含其他软件（如基础系统工具），其许可需由用户自行确认合规性。

更多许可信息参见https://github.com/docker-library/repo-info/tree/master/repos/spark%E3%80%82