cerebriai/hadoop-namenode

Hadoop Docker镜像说明

镜像概述

本仓库包含用于搭建基础Hadoop集群的Dockerfile集合，支持HDFS、YARN及Spark提交器等核心组件。所有镜像均继承自基础hadoop镜像，该镜像在/opt/目录提供Hadoop安装，并支持通过环境变量灵活配置Hadoop参数。

核心功能

1. HDFS组件：提供namenode（单实例）和datanode（多实例）服务，实现分布式文件存储与管理。
2. YARN组件：包含resourcemanager（单实例）和nodemanager（多实例），负责集群资源调度与任务执行管理。
3. Spark提交器：提供预配置的Spark环境，可直接向Hadoop集群提交Spark计算任务。

使用场景

• 快速部署Hadoop集群测试环境
• 开发分布式数据处理与分析应用
• 学习Hadoop生态系统的运行原理与配置方法

配置说明

Hadoop参数配置

通过环境变量控制Hadoop配置文件，前缀对应不同的配置文件：

• CORE_CONF：影响core-site.xml
• HDFS_CONF：影响hdfs-site.xml
• YARN_CONF：影响yarn-site.xml
• HTTPFS_CONF：影响httpfs-site.xml
• KMS_CONF：影响KMS-site.xml

环境变量名称与Hadoop属性的替换规则：

• _ → .
• __ → _
• ___ → -

示例：

• CORE_CONF_fs_defaultFS → 设置core-site.xml中的fs.defaultFS属性
• YARN_CONF_yarn_log___aggregation___enable → 设置yarn-site.xml中的yarn.log-aggregation-enable属性

配置预设

• MULTIHOMED_NETWORK：配置集群支持多网络访问，将相关服务绑定主机设为0.0.0.0，并启用主机名解析。
• GANGLIA_HOST：指定Ganglia gmond守护进程地址，用于发送Hadoop运行指标。

网络建议

推荐使用Docker 1.9+的网络功能，为集群创建专用网络。建议固定容器名称与主机名一致，并设置域名与网络名称相同，便于服务间域名解析。

组件部署示例

namenode部署（docker-compose）

yaml
namenode:
  image: cerebriai/hadoop-namenode
  hostname: namenode
  container_name: namenode
  domainname: hadoop
  net: hadoop
  volumes:
    - <NAMENODE-VOLUME>:/hadoop/dfs/name
  environment:
    - GANGLIA_HOST=<GMOND-RECEIVER-HOST>
    - CLUSTER_NAME=<CLUSTER-NAME>

启动后可通过http://<CONTAINER_IP>:50070访问WebUI。

datanode部署（docker-compose）

yaml
datanode1:
  image: cerebriai/hadoop-datanode
  hostname: datanode1
  container_name: datanode1
  domainname: hadoop
  net: hadoop
  volumes:
    - <DATANODE-VOLUME>:/hadoop/dfs/data
  environment:
    - GANGLIA_HOST=<GMOND-RECEIVER-HOST>
    - CORE_CONF_fs_defaultFS=hdfs://<NAMENODE-HOST>:8020

resourcemanager部署（docker-compose）

yaml
resourcemanager:
  image: cerebriai/hadoop-resourcemanager
  hostname: resourcemanager
  container_name: resourcemanager
  domainname: hadoop
  net: hadoop
  environment:
    - GANGLIA_HOST=<GMOND-RECEIVER-HOST>
    - CORE_CONF_fs_defaultFS=hdfs://<NAMENODE-HOST>:8020
    - YARN_CONF_yarn_log___aggregation___enable=true

启动后可通过http://<CONTAINER_IP>:8088访问WebUI。

nodemanager部署（docker-compose）

yaml
nodemanager1:
  image: cerebriai/hadoop-nodemanager
  hostname: nodemanager1
  container_name: nodemanager1
  domainname: hadoop
  net: hadoop
  environment:
    - GANGLIA_HOST=<GMOND-RECEIVER-HOST>
    - CORE_CONF_fs_defaultFS=hdfs://<NAMENODE-HOST>:8020
    - YARN_CONF_yarn_resourcemanager_hostname=<RESOURCEMANAGER-HOST>
    - YARN_CONF_yarn_log___aggregation___enable=true
    - YARN_CONF_yarn_nodemanager_remote___app___log___dir=/app-logs

Spark提交器部署（docker-compose）

yaml
spark:
  image: cerebriai/hadoop-spark
  hostname: spark
  container_name: spark
  domainname: hadoop
  net: hadoop
  environment:
    - CORE_CONF_fs_defaultFS=hdfs://namenode:8020
    - YARN_CONF_yarn_resourcemanager_hostname=resourcemanager
  command: tail -f /var/log/dmesg

可通过docker exec -ti spark bash进入容器使用Spark环境。