bigstepinc/spark_hdfs_datalake_2.1.0

Bigstep SparkArray官方镜像（spark1.6-jupyter4.1）

镜像概述

本镜像由Bigstep官方提供，集成Spark 1.6分布式计算框架与Jupyter 4.1交互式笔记本环境，旨在帮助用户快速构建HDFS数据湖，降低大数据处理与分析环境的部署成本，适用于开发、测试及学习场景。

核心功能

1. 内置Spark 1.6：支持分布式数据处理、批处理任务与流式计算；
2. 集成Jupyter 4.1：提供交互式数据分析环境，支持代码运行、可视化展示；
3. HDFS数据湖支持：兼容HDFS存储系统，可直接访问或管理数据湖资源；
4. 开箱即用：无需复杂配置，启动即可开展数据处理工作。

使用场景

1. 大数据批量处理任务（如日志分析、数据清洗）；
2. 交互式数据分析与可视化报告生成；
3. Spark与HDFS技术的学习与实验；
4. 小型数据湖环境的快速搭建与测试。

配置说明

可通过环境变量调整核心参数：

• SPARK_MEMORY：设置Spark executor内存（默认：2g）；
• JUPYTER_PORT：指定Jupyter访问端口（默认：8888）；
• HDFS_URL：配置外部HDFS集群地址（可选）。

部署示例

Docker Run命令

bash
docker run -d \
  -p 8888:8888 \
  -p 7077:7077 \
  -e SPARK_MEMORY=4g \
  bigstepinc/spark_hdfs_datalake_2.1.0

启动后，访问http://localhost:8888即可进入Jupyter界面（默认无密码，生产环境建议配置）。

Docker Compose示例

yaml
version: "3"
services:
  spark-datalake:
    image: bigstepinc/spark_hdfs_datalake_2.1.0
    ports:
      - "8888:8888"
      - "7077:7077"
    environment:
      - SPARK_MEMORY=4g
    volumes:
      - ./data:/data  # 挂载本地数据目录到容器