bde2020/hadoop-datanode

Hadoop Docker 镜像

镜像概述

该镜像为Hadoop集群的数据节点（Datanode）组件，用于在HDFS分布式文件系统中存储数据块，是Hadoop分布式存储架构的核心部分。版本2.0.0引入了wait_for_it脚本，优化集群启动流程。

支持的Hadoop版本

请查看仓库分支获取支持的Hadoop版本信息。

核心功能与特性

• 作为HDFS分布式文件系统的数据存储节点
• 支持通过环境变量灵活配置Hadoop各项参数
• 集成wait_for_it脚本，优化集群启动顺序和稳定性
• 兼容Docker Compose和Swarm部署模式

使用场景

适用于需要部署Hadoop分布式集群的场景，用于大数据存储和分布式计算任务，如日志存储、数据分析、机器学习训练数据管理等。

快速启动

使用Docker Compose部署

部署示例HDFS集群：

bash
docker-compose up

运行示例WordCount任务

bash
make wordcount

在Swarm中部署

bash
docker stack deploy -c docker-compose-v3.yml hadoop

访问集群界面

docker-compose会创建一个Docker网络，可通过docker network list命令查看（例如dockerhadoop_default）。运行docker network inspect <网络名称>获取集群IP，通过以下URL访问相关界面：

• Namenode: http://<dockerhadoop_IP_address>:9870/dfshealth.html#tab-overview
• 历史服务器: http://<dockerhadoop_IP_address>:8188/applicationhistory
• Datanode: http://<dockerhadoop_IP_address>:9864/
• 节点管理器: http://<dockerhadoop_IP_address>:8042/node
• 资源管理器: http://<dockerhadoop_IP_address>:8088/

配置环境变量

配置参数可在hadoop.env文件中指定，或作为特定服务（如namenode、datanode等）的环境变量：

环境变量格式说明

环境变量命名规则为<配置文件前缀>_CONF_<参数名>，例如：

bash
CORE_CONF_fs_defaultFS=hdfs://namenode:8020

上述配置会转换为core-site.xml中的：

xml
<property><name>fs.defaultFS</name><value>hdfs://namenode:8020</value></property>

处理带连字符的参数

若配置参数包含连字符，使用三个下划线（___）代替，例如：

bash
YARN_CONF_yarn_log___aggregation___enable=true

会转换为yarn-site.xml中的：

xml
<property><name>yarn.log-aggregation-enable</name><value>true</value></property>

支持的配置文件及对应前缀

• /etc/hadoop/core-site.xml - CORE_CONF
• /etc/hadoop/hdfs-site.xml - HDFS_CONF
• /etc/hadoop/yarn-site.xml - YARN_CONF
• /etc/hadoop/httpfs-site.xml - HTTPFS_CONF
• /etc/hadoop/kms-site.xml - KMS_CONF
• /etc/hadoop/mapred-site.xml - MAPRED_CONF

如需扩展其他配置文件，请参考base/entrypoint.sh脚本。