bde2020/hadoop-historyserver

Hadoop Docker 镜像

变更记录

版本 2.0.0 引入了 wait_for_it 脚本用于集群启动。

镜像概述

本Docker镜像用于快速部署Hadoop集群，支持HDFS分布式文件系统及相关组件。通过Docker容器化部署，简化了Hadoop集群的搭建流程，适用于开发、测试及学习环境中的Hadoop集群部署需求。

支持的Hadoop版本

请查看仓库分支获取支持的Hadoop版本。

核心功能与特性

• 支持完整HDFS集群部署，包含Namenode、Datanode等核心组件
• 提供Web界面监控集群状态（Namenode、History Server等）
• 通过环境变量灵活配置Hadoop核心参数（core-site.xml、hdfs-site.xml等）
• 支持Docker Compose和Docker Swarm两种部署方式
• 集成示例wordcount任务，便于快速验证集群功能

使用场景

• Hadoop集群开发与测试环境搭建
• HDFS分布式文件系统学习与实践
• 大数据处理任务的本地模拟与调试

快速开始

部署示例HDFS集群

使用Docker Compose部署：

bash
docker-compose up

运行示例wordcount任务

bash
make wordcount

Docker Swarm部署

bash
docker stack deploy -c docker-compose-v3.yml hadoop

访问Web监控界面

docker-compose会创建一个Docker网络，可通过docker network list命令查看（例如dockerhadoop_default）。运行docker network inspect <网络名称>（如dockerhadoop_default）获取Hadoop服务的IP地址，通过以下URL访问集群界面：

• Namenode: http://<dockerhadoop_IP_address>:9870/dfshealth.html#tab-overview
• History server: http://<dockerhadoop_IP_address>:8188/applicationhistory
• Datanode: http://<dockerhadoop_IP_address>:9864/
• Nodemanager: http://<dockerhadoop_IP_address>:8042/node
• Resource manager: http://<dockerhadoop_IP_address>:8088/

配置环境变量

配置参数可在hadoop.env文件中指定，或作为特定服务（如namenode、datanode等）的环境变量设置：

配置示例

bash
CORE_CONF_fs_defaultFS=hdfs://namenode:8020

上述配置对应core-site.xml中的：

xml
<property><name>fs.defaultFS</name><value>hdfs://namenode:8020</value></property>

处理包含连字符的配置

若配置参数包含连字符，使用三个下划线（___）代替，例如：

bash
YARN_CONF_yarn_log___aggregation___enable=true

对应yarn-site.xml中的：

xml
<property><name>yarn.log-aggregation-enable</name><value>true</value></property>

可用配置文件及对应环境变量前缀

如需扩展其他配置文件，请参考base/entrypoint.sh脚本。