bde2020/hadoop-resourcemanager

Hadoop Docker

变更记录

版本 2.0.0 引入了 wait_for_it 脚本用于集群启动

支持的 Hadoop 版本

支持的 Hadoop 版本，请查看仓库分支

快速开始

要部署示例 HDFS 集群，请运行：

docker-compose up

运行示例 wordcount 作业：

make wordcount

或在 Swarm 中部署：

docker stack deploy -c docker-compose-v3.yml hadoop

docker-compose 会创建一个 Docker 网络，可通过运行 docker network list 查看，例如 dockerhadoop_default。

对该网络运行 docker network inspect（例如 dockerhadoop_default）以找到 Hadoop 接口发布的 IP。通过以下 URL 访问这些接口：

• Namenode（名称节点）：http://<dockerhadoop_IP_address>:9870/dfshealth.html#tab-overview
• History server（历史服务器）：http://<dockerhadoop_IP_address>:8188/applicationhistory
• Datanode（数据节点）：http://<dockerhadoop_IP_address>:9864/
• Nodemanager（节点管理器）：http://<dockerhadoop_IP_address>:8042/node
• Resource manager（资源管理器）：http://<dockerhadoop_IP_address>:8088/

配置环境变量

配置参数可以在 hadoop.env 文件中指定，或作为特定服务（如 namenode、datanode 等）的环境变量：

CORE_CONF_fs_defaultFS=hdfs://namenode:8020

CORE_CONF 对应 core-site.xml。fs_defaultFS=hdfs://namenode:8020 将被转换为：

<property><name>fs.defaultFS</name><value>hdfs://namenode:8020</value></property>

要在配置参数中定义连字符，请使用三下划线，例如 YARN_CONF_yarn_log___aggregation___enable=true（对应 yarn-site.xml）：

<property><name>yarn.log-aggregation-enable</name><value>true</value></property>

可用的配置包括：

• /etc/hadoop/core-site.xml CORE_CONF
• /etc/hadoop/hdfs-site.xml HDFS_CONF
• /etc/hadoop/yarn-site.xml YARN_CONF
• /etc/hadoop/httpfs-site.xml HTTPFS_CONF
• /etc/hadoop/kms-site.xml KMS_CONF
• /etc/hadoop/mapred-site.xml MAPRED_CONF

如果需要扩展其他配置文件，请参考 base/entrypoint.sh bash 脚本。