infotechsoft/hadoop

Hadoop Docker镜像文档

镜像概述和主要用途

本镜像提供用于搭建基础Hadoop集群的Dockerfile集合，包含HDFS（namenode、datanode）、YARN（resourcemanager、nodemanager）和Spark submitter组件。所有镜像均继承自hadoop基础镜像，该基础镜像在/opt/目录提供Hadoop安装，并支持通过环境变量配置Hadoop。

核心功能和特性

• 组件完整：包含HDFS（namenode、datanode）、YARN（resourcemanager、nodemanager）和Spark submitter核心组件
• 环境变量配置：通过环境变量灵活配置Hadoop各组件的XML配置文件
• 网络适配：支持多网络环境配置，解决跨网络访问问题
• 监控集成：可配置向Ganglia发送 metrics 数据
• 持久化存储：关键数据目录支持卷挂载，确保数据持久化

Hadoop配置

Hadoop配置通过以下环境变量组控制，分别对应不同的XML配置文件：

1. CORE_CONF：影响/etc/hadoop/core-site.xml
2. HDFS_CONF：影响/etc/hadoop/hdfs-site.xml
3. YARN_CONF：影响/etc/hadoop/yarn-site.xml
4. HTTPFS_CONF：影响/etc/hadoop/httpfs-site.xml
5. KMS_CONF：影响/etc/hadoop/KMS-site.xml

环境变量命名规则

由于Docker和docker-compose对环境变量名称的限制，属性名需进行如下替换：

• _ 替换为 .
• __ 替换为 _
• ___ 替换为 -

配置示例

• CORE_CONF_fs_defaultFS：设置core-site.xml中的fs.defaultFS属性
• YARN_CONF_yarn_log___aggregation___enable：设置yarn-site.xml中的yarn.log-aggregation-enable属性

Hadoop配置预设

以下特殊环境变量用于控制配置预设：

MULTIHOMED_NETWORK

配置Hadoop集群以支持多网络访问，会自动设置以下属性：

hdfs-site.xml：

• dfs.namenode.rpc-bind-host = 0.0.0.0
• dfs.namenode.servicerpc-bind-host = 0.0.0.0
• dfs.namenode.http-bind-host = 0.0.0.0
• dfs.namenode.https-bind-host = 0.0.0.0
• dfs.client.use.datanode.hostname = true
• dfs.datanode.use.datanode.hostname = true

yarn-site.xml：

• yarn.resourcemanager.bind-host = 0.0.0.0
• yarn.nodemanager.bind-host = 0.0.0.0

mapred-site.xml：

• yarn.nodemanager.bind-host = 0.0.0.0

GANGLIA_HOST

指定Ganglia gmond守护进程地址，使Hadoop向其发送metrics数据（需Ganglia采用单播配置）。

网络配置建议

为确保集群正常运行，建议：

1. 使用Docker 1.9+的网络功能，为集群创建专用网络
2. 将容器名称和主机名设置为相同值，确保容器间可相互解析
3. 将域名设置为网络名称，并使用FQDN引用各服务

以上配置可避免Web界面链接无法解析的问题（需配置DNS解析容器名称，使用docker-machine时需配置静态路由）。

组件说明

namenode

Hadoop namenode镜像，启动HDFS名称节点（单实例）。

额外环境变量

• CLUSTER_NAME：HDFS集群名称（初始化格式化时使用）

卷

• /hadoop/dfs/name：HDFS文件系统名称目录

必要配置

• CLUSTER_NAME：集群名称

Docker-compose模板

yaml
namenode:
  image: uhopper/hadoop-namenode
  hostname: namenode
  container_name: namenode
  domainname: hadoop
  net: hadoop
  volumes:
    - <NAMENODE-VOLUME>:/hadoop/dfs/name
  environment:
    - GANGLIA_HOST=<GMOND-RECEIVER-HOST>
    - CLUSTER_NAME=<CLUSTER-NAME>

启动后可通过http://<CONTAINER_IP>:50070访问Web界面。

datanode

Hadoop datanode镜像，启动HDFS数据节点（多实例）。

卷

• /hadoop/dfs/data：HDFS文件系统数据目录

必要配置

• CORE_CONF_fs_defaultFS：HDFS地址（如hdfs://<NAMENODE-HOST>:8020）

Docker-compose模板

yaml
datanode1:
  image: uhopper/hadoop-datanode
  hostname: datanode1
  container_name: datanode1
  domainname: hadoop
  net: hadoop
  volumes:
    - <DATANODE-VOLUME>:/hadoop/dfs/data
  environment:
    - GANGLIA_HOST=<GMOND-RECEIVER-HOST>
    - CORE_CONF_fs_defaultFS=hdfs://<NAMENODE-HOST>:8020

resourcemanager

Hadoop resourcemanager镜像，启动YARN资源管理器（单实例）。

必要配置

• CORE_CONF_fs_defaultFS：HDFS地址（如hdfs://<NAMENODE-HOST>:8020）

Docker-compose模板

yaml
resourcemanager:
  image: uhopper/hadoop-resourcemanager
  hostname: resourcemanager
  container_name: resourcemanager
  domainname: hadoop
  net: hadoop
  environment:
    - GANGLIA_HOST=<GMOND-RECEIVER-HOST>
    - CORE_CONF_fs_defaultFS=hdfs://<NAMENODE-HOST>:8020
    - YARN_CONF_yarn_log___aggregation___enable=true

启动后可通过http://<CONTAINER_IP>:8088访问Web界面。

nodemanager

Hadoop nodemanager镜像，启动YARN节点管理器（多实例）。

必要配置

• CORE_CONF_fs_defaultFS：HDFS地址（如hdfs://<NAMENODE-HOST>:8020）
• YARN_CONF_yarn_resourcemanager_hostname：resourcemanager主机名

Docker-compose模板

yaml
nodemanager1:
  image: uhopper/hadoop-nodemanager
  hostname: nodemanager1
  container_name: nodemanager1
  domainname: hadoop
  net: hadoop
  environment:
    - GANGLIA_HOST=<GMOND-RECEIVER-HOST>
    - CORE_CONF_fs_defaultFS=hdfs://<NAMENODE-HOST>:8020
    - YARN_CONF_yarn_resourcemanager_hostname=<RESOURCEMANAGER-HOST>
    - YARN_CONF_yarn_log___aggregation___enable=true
    - YARN_CONF_yarn_nodemanager_remote___app___log___dir=/app-logs

spark

Hadoop-spark镜像，提供配置好的Spark环境，用于Hadoop集群（工具容器，不暴露服务）。

需通过docker run uhopper/hadoop-spark <command>指定命令。常用方式是使用tail -f /var/log/dmesg保持容器运行，然后通过docker exec -ti spark bash进入容器使用Spark环境。

必要配置

• CORE_CONF_fs_defaultFS：HDFS地址（如hdfs://<NAMENODE-HOST>:8020）
• YARN_CONF_yarn_resourcemanager_hostname：resourcemanager主机名

Docker-compose模板

yaml
spark:
  image: uhopper/hadoop-spark
  hostname: spark
  container_name: spark
  domainname: hadoop
  net: hadoop
  environment:
    - CORE_CONF_fs_defaultFS=hdfs://namenode:8020
    - YARN_CONF_yarn_resourcemanager_hostname=resourcemanager
  command: tail -f /var/log/dmesg