ivories/hadoop

基于Alpine的分布式高可用Hadoop集群Docker镜像

镜像概述

本镜像基于轻量级Alpine系统构建，提供分布式高可用的Hadoop集群部署能力，支持单机（Standalone）和集群（Clustered）两种运行模式，帮助用户快速搭建稳定的Hadoop环境，适用于大数据开发测试、学习演示等场景。

核心功能

• 支持Standalone和Clustered两种部署模式，满足不同规模需求
• 集成HDFS、YARN、HTTPFS等核心服务，提供完整的大数据处理能力
• 包含测试作业执行示例，便于快速验证环境有效性
• 基于Alpine系统，镜像体积小，部署高效且资源占用低

使用场景

• 大数据开发人员本地调试Hadoop应用
• 初学者学习Hadoop框架的实验环境搭建
• 小型团队快速部署轻量级大数据处理集群
• 教学培训中演示Hadoop集群的运行原理

配置说明

单机模式

运行

bash
docker run -d \
--name=hadoop-standalone \
-p 8088:8088 \
-p 50070:50070 \
-p 14000:14000 \
docker.xuanyuan.run/athlinks/hadoop:2.7 && \
docker logs -f hadoop-standalone

可通过以下链接访问服务：

• HDFS: [***]
• YARN: [***]
• HTTPFS: [***]

执行测试作业

bash
docker exec -it hadoop-standalone bash -c "bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar teragen 1000 teragen_out_dir"

集群模式

运行

首次启动集群：

bash
git clone https://github.com/athlinks/docker-hadoop.git
cd docker-hadoop/hadoop-2.7
./initialize.sh

执行测试作业

bash
docker exec -it hadoop27_client_1 bash -c "bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar teragen 1000 teragen_out_dir"

若之前已启动并停止过集群，直接运行docker-compose up -d即可重启（Zookeeper已完成格式化）。