harisekhon/spark

Apache Spark Docker镜像（1.3-1.6版本）

镜像概述

本镜像包含Apache Spark 1.3至1.6版本，Apache Spark是由UC Berkeley AMPLab开发的快速分布式集群计算引擎，广泛应用于大数据领域。它基于内存计算优化，能高效处理批处理、实时流、机器学习和交互式查询等多种工作负载，是大数据生态系统中的核心工具之一。

核心功能

• 高速计算：利用内存缓存减少磁盘IO，处理速度比传统MapReduce快数倍至数十倍。
• 多场景支持：覆盖批处理（Spark Core）、实时流处理（Spark Streaming）、机器学习（MLlib）、交互式SQL（Spark SQL）和图计算（GraphX）。
• 生态集成：无缝对接Hadoop HDFS、HBase、Kafka、Cassandra等主流大数据组件。
• 交互式开发：提供Scala/Python Shell，支持快速原型验证和数据分析。

使用场景

• 大数据分析：处理TB/PB级数据，提取业务洞察（如用户行为分析、市场趋势预测）。
• 实时数据处理：实时监控日志、传感器数据，生成即时告警或统计结果。
• 机器学习：利用MLlib构建分类、回归、聚类等模型，应用于推荐系统、风控等场景。
• ETL pipeline：完成数据清洗、转换、加载（ETL），为数据仓库或数据湖提供高质量数据。

配置与部署示例

基本运行（交互式Shell）

直接启动Spark Shell进行开发测试：

bash
docker run -ti harisekhon/spark

映射端口（访问Spark UI）

Spark UI默认端口为4040，映射后可通过浏览器查看任务状态：

bash
docker run -ti -p 4040:4040 harisekhon/spark

快捷运行（通过项目仓库）

克隆仓库后使用make run命令（无需记忆复杂参数）：

bash
git clone https://github.com/harisekhon/Dockerfiles.git
cd Dockerfiles/spark
make run

说明：该镜像属于harisekhon的开源大数据Docker集合，所有镜像均经过多平台测试（Linux/Mac），确保功能稳定可靠。更多细节可参考项目仓库文档。