koddidev/spark-jobserver

Spark JobServer Docker镜像

镜像概述

本镜像为Docker化的Spark JobServer，支持最新版本的Spark与Mesos，基于tobilg/docker-spark-jobserver fork并更新了Spark、Spark-Jobserver及Mesos版本。可通过镜像标签查看支持的版本组合。

核心功能

• 管理和运行Spark作业，支持Mesos集群调度
• 灵活配置Spark master、作业服务器内存及自定义配置文件
• 支持添加自定义Jars（如Spark-Cassandra Connector）
• 持久化作业元数据（默认H2数据库，支持PostgreSQL/MySQL等）
• 日志输出到stdout，符合Docker规范便于查看

使用场景

• 大数据处理任务中的Spark作业管理与调度
• Mesos集群环境下的Spark作业部署
• 需要灵活配置和持久化的Spark作业服务场景

配置说明

基础启动

bash
docker run -d -p 8090:8090 koddidev/spark-jobserver:latest

启动作业服务器并暴露8090端口，默认使用本地模式（local[4]）和H2数据库。

调试模式（暴露JMX端口）

bash
docker run -d -p 8090:8090 -p 9999:9999 koddidev/spark-jobserver:latest

设置Spark Master（如Mesos集群）

bash
docker run -d -p 8090:8090 -e SPARK_MASTER=mesos://zk://mesos.master:5050 koddidev/spark-jobserver:latest

调整作业服务器内存

bash
docker run -d -p 8090:8090 -e JOBSERVER_MEMORY=2g koddidev/spark-jobserver:latest

自定义配置文件

通过派生镜像覆盖默认配置：

dockerfile
FROM koddidev/spark-jobserver:latest
ADD ./jobserver.conf /app/docker.conf

添加自定义Jars（如Spark-Cassandra Connector）

bash
docker run -d -p 8090:8090 koddidev/spark-jobserver:latest --packages com.datastax.spark:spark-cassandra-connector_2.10:1.3.0-M1

持久化数据库

将H2数据库目录映射到本地：

bash
docker run -d -p 8090:8090 -v /opt/job-server-db:/database koddidev/spark-jobserver:latest

日志查看

• 实时查看日志：docker logs -f <container_id>
• 查看最近100行日志：docker logs --tail=100 <container_id>