rangareddy1988/spark-history-server

Spark History Server

镜像概述和主要用途

Spark History Server Docker镜像用于在本地环境部署和管理Spark事件日志，方便用户查看和分析Spark应用程序的运行历史记录、执行状态及相关指标。

核心功能和特性

• 支持自定义UI端口配置，默认为***
• 可配置Spark守护进程内存大小
• 支持设置保留的应用程序数量和UI显示的最大应用程序数量
• 自动检测并加载指定目录下的Spark事件日志
• 提供Web UI界面，直观展示Spark应用运行历史

使用场景和适用范围

适用于本地开发、测试环境中，需要查看和分析Spark应用程序运行日志的场景，帮助开发人员调试和优化Spark作业。

使用方法和配置说明

拉取镜像

使用以下命令拉取最新版本的Spark History Server镜像：

sh
docker pull rangareddy1988/spark-history-server:latest

运行镜像（使用docker-compose）

1. 创建docker-compose.yml文件：

sh
version: '3.0'

services:
  spark-history-server:
    image: rangareddy1988/spark-history-server:${VERSION:-latest}
    container_name: spark-history-server
    environment:
      - SPARK_HISTORY_UI_PORT=18080  # UI端口
      - SPARK_DAEMON_MEMORY=4g       # Spark守护进程内存大小
      - SPARK_HISTORY_RETAINEDAPPLICATIONS=200  # 保留的应用程序数量
      - SPARK_HISTORY_UI_MAXAPPLICATIONS=500    # UI显示的最大应用程序数量
    ports:
     - 18080:18080  # 映射UI端口
     - 4040:4040    # 映射Spark应用UI端口
    volumes:
     - /tmp/spark/spark-events:/tmp/spark-events  # 挂载Spark事件日志目录
     - /tmp/spark/spark-history-server-logs:/var/log/spark  # 挂载日志目录

2. 启动容器：

sh
docker-compose up -d

上传事件日志

将Spark事件日志文件上传至宿主机的/tmp/spark/spark-events目录，Spark History Server会自动检测并在UI中显示这些日志。

示例：

sh
cp application_1662032454364_0049 /tmp/spark/spark-events

访问Spark History Server UI

打开浏览器，访问以下URL即可查看Spark事件日志：

sh
http://localhost:18080/

源代码

• GitHub仓库：https://github.com/rangareddy/spark-history-server-docker