brunocf/spark-datastore

brunocf/spark-datastore镜像说明

镜像概述

本镜像用于构建Docker化Spark集群的中央数据卷存储节点，为集群中的master、slave、作业提交（submit）及任务调度（cron）容器提供共享的数据存储空间，确保集群内各组件间数据的一致性与可访问性。

核心功能

1. 创建并维护共享数据卷/data，供其他Spark集群容器挂载使用；
2. 支持持久化存储Spark作业脚本、输入输出数据、调度配置文件等；
3. 兼容Spark master、slave、submit、cron等容器，实现数据在集群内的无缝共享。

使用场景

1. 搭建Docker化Spark集群时，作为统一的数据存储节点；
2. 存储Spark作业的脚本文件、测试数据及定时任务配置；
3. 确保Spark集群中各容器间的数据同步与访问需求。

配置说明与部署示例

构建镜像

在包含该镜像Dockerfile的目录下执行以下命令构建镜像：

bash
docker build -t brunocf/spark-datastore .

创建数据卷容器

首先创建数据卷容器，为其他容器提供共享存储：

bash
docker create -v /data --name spark-datastore brunocf/spark-datastore

其他容器挂载共享数据卷

• Spark Master容器：

  bash
  docker run -d -p 8080:8080 -p 7077:7077 --volumes-from spark-datastore --name master brunocf/spark-master
  

• Spark Slave容器：

  bash
  docker run -d --link master:master --volumes-from spark-datastore brunocf/spark-slave
  

• Spark作业提交容器：

  bash
  docker run --rm -it --link master:master --volumes-from spark-datastore brunocf/spark-submit spark-submit --master spark://172.17.0.2:7077 /data/script.py
  

• Spark定时任务容器：

  bash
  docker run -d --link master:master --volumes-from spark-datastore brunocf/spark-cron