dcagatay/hadoop Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

dcagatay/hadoop

镜像概述

dcagatay/hadoop是一个仅包含HDFS组件的Hadoop Docker镜像，具备高可用和多服务器部署能力，适用于构建分布式HDFS集群环境。

标签

• latest, 3.3.0
• 3.2.2
• 3.2.1
• 3.1.4
• 2.10.1
• 2.8.2
• 2.7.1

Docker Hub地址

核心特性

• 支持使用journal nodes以分布式高可用（HA）模式运行Hadoop（仅HDFS）
• 通过环境变量进行配置
• 支持多名称服务（联邦）
• 支持通过环境变量动态配置NameNode
• 基于Debian Stretch(9)构建

使用示例

可参考docker-compose.yml文件，通过docker-compose快速搭建分布式高可用HDFS集群。

配置说明

提供三种配置方式：

1. 仅环境变量配置：不绑定配置目录，仅通过环境变量进行设置（适用于仅使用HDFS的场景）

2. 环境变量+配置目录绑定：设置环境变量的同时，绑定/opt/hadoop/etc/hadoop或/etc/hadoop目录，且不覆盖HADOOP_CONF_DIR环境变量（适用于需要导出HDFS配置的场景，如Spark集成）

3. 自定义配置目录：使用自定义配置目录，不通过环境变量设置配置项，将HADOOP_CONF_DIR设置为自定义目录（如/config）并绑定该目录

端口映射

NameNode

• 8019：dfs.ha.zkfc.port（IPC通信）
• 8020：fs.defaultFS 和/或 dfs.namenode.rpc-address.<nameservice-name>.<namenode-name>（IPC通信）
• 50070：dfs.namenode.http-address.<nameservice-name>.<namenode-name>（HTTP访问）

DataNode

• 9864：dfs.datanode.http.address（HTTP访问）
• 9866：dfs.datanode.address
• 9867：dfs.datanode.ipc.address（IPC通信）

JournalNode

• 8480：dfs.journalnode.http-address（HTTP访问）
• 8485：dfs.journalnode.rpc-address（IPC通信）

待办事项

• 支持通用环境变量配置
• 完善环境变量文档