rxvc/hadoop

Hadoop Docker镜像文档

镜像概述和主要用途

本Docker镜像用于快速部署Hadoop分布式文件系统（HDFS）集群，提供便捷的集群搭建和配置方式，适用于开发、测试或学习Hadoop生态系统。通过简单的命令即可启动包含Namenode、Datanode、Resource Manager等组件的完整HDFS集群，并支持通过Web界面监控和管理集群状态。

核心功能和特性

• 快速部署：通过docker-compose一键启动完整HDFS集群，无需手动配置复杂的Hadoop环境
• 灵活配置：支持通过环境变量自定义Hadoop配置文件（如core-site.xml、hdfs-site.xml等）
• Web界面访问：提供Namenode、Datanode、Resource Manager等组件的Web监控界面
• 网络隔离：自动创建独立Docker网络，确保集群组件间通信

使用场景和适用范围

• Hadoop集群开发环境搭建
• HDFS功能测试和验证
• Hadoop生态系统学习和教学
• 小型Hadoop集群原型部署

使用方法和配置说明

快速启动

要部署示例HDFS集群，运行以下命令：

bash
docker-compose up

docker-compose会创建一个Docker网络，可通过以下命令查看网络列表：

bash
docker network list

网络名称通常为dockerhadoop_default（具体名称可能因项目配置而异）。

运行以下命令获取集群IP地址（将<network_name>替换为实际网络名称，如dockerhadoop_default）：

bash
docker network inspect <network_name>

通过以下URL访问Hadoop组件的Web界面：

• Namenode：http://<dockerhadoop_IP_address>:50070/dfshealth.html#tab-overview
• 历史服务器：http://<dockerhadoop_IP_address>:8188/applicationhistory
• Datanode：http://<dockerhadoop_IP_address>:50075/
• Nodemanager：http://<dockerhadoop_IP_address>:8042/node
• Resource manager：http://<dockerhadoop_IP_address>:8088/

配置环境变量

配置参数可在hadoop.env文件中指定，或作为特定服务（如namenode、datanode等）的环境变量设置，格式如下：

bash
CORE_CONF_fs_defaultFS=hdfs://namenode:8020

其中：

• CORE_CONF对应core-site.xml配置文件
• fs_defaultFS=hdfs://namenode:8020会被转换为XML配置：

  xml
  <property><name>fs.defaultFS</name><value>hdfs://namenode:8020</value></property>
  

若配置参数中包含连字符（-），需使用三个下划线（___）代替，例如：

bash
YARN_CONF_yarn_log___aggregation___enable=true

上述配置对应yarn-site.xml中的：

xml
<property><name>yarn.log-aggregation-enable</name><value>true</value></property>

可用配置文件及对应环境变量前缀

如需扩展其他配置文件，请参考base/entrypoint.sh脚本。