gradiant/hadoop-base

gradiant/hadoop-base镜像说明

镜像概述

这是基于Apache Hadoop的Docker镜像，采用Alpine Linux作为基础镜像，具有体积小的特点，支持HDFS相关服务的快速部署。

核心功能

• 提供HDFS namenode（名称节点）和datanode（数据节点）服务
• 通过环境变量灵活配置Hadoop核心、HDFS、YARN等组件的属性
• 支持多宿主网络（Multihomed Networks）配置
• 可通过自定义环境变量简化Hadoop配置（如HDFS_NAMENODE_URL）

使用场景

• 快速搭建单节点或多节点HDFS集群
• 开发和测试Hadoop相关应用
• 学习HDFS分布式文件系统的使用

配置说明

通用Hadoop配置

镜像通过环境变量设置Hadoop配置文件属性，变量格式为<前缀>_<Hadoop属性>：

• 前缀对应配置文件：
  • CORE_CONF：对应/etc/hadoop/core-site.xml
  • HDFS_CONF：对应/etc/hadoop/hdfs-site.xml
  • YARN_CONF：对应/etc/hadoop/yarn-site.xml
  • HTTPFS_CONF：对应/etc/hadoop/httpfs-site.xml
  • KMS_CONF：对应/etc/hadoop/KMS-site.xml
• Hadoop属性需替换特殊字符：
  • .替换为_
  • _替换为__
  • -替换为___

示例：

• core-site.xml中的fs.defaultFS属性对应环境变量CORE_CONF_fs_defaultFS
• hdfs-site.xml中的dfs.replication属性对应环境变量HDFS_CONF_dfs_replication

网络配置

设置环境变量MULTIHOMED_NETWORK可启用多宿主网络支持。

HDFS特定配置

• CLUSTER_NAME：hdfs-namenode容器的集群名称，默认值为"hadoop"
• HDFS_NAMENODE_URL： namenode的访问地址，格式为hdfs://NAMENODE_HOST:NAMENODE_PORT

部署示例

单namenode+三datanode集群

bash
# 启动namenode容器
docker run -d --name hdfs-namenode -p 9870:9870 gradiant/hdfs-namenode
# 启动datanode容器（共3个）
docker run -d --link hdfs-namenode --name hdfs-datanode1 -e CORE_CONF_fs_defaultFS=hdfs://hdfs-namenode:8020 gradiant/hdfs-datanode
docker run -d --link hdfs-namenode --name hdfs-datanode2 -e CORE_CONF_fs_defaultFS=hdfs://hdfs-namenode:8020 gradiant/hdfs-datanode
docker run -d --link hdfs-namenode --name hdfs-datanode3 -e CORE_CONF_fs_defaultFS=hdfs://hdfs-namenode:8020 gradiant/hdfs-datanode

测试验证

1. 检查原生库支持：

bash
docker exec -ti hdfs-namenode hadoop checknative -a

2. 创建并列出HDFS目录：

bash
docker exec -ti hdfs-namenode hdfs dfs -mkdir /example
docker exec -ti hdfs-namenode hdfs dfs -ls /