squ1d123/hadoop

Hadoop Docker镜像

本仓库包含用于搭建基础Hadoop集群的Dockerfile，支持的组件如下：

1. HDFS：namenode（命名空间管理）、datanode（数据存储）
2. YARN：resourcemanager（资源调度）、nodemanager（节点资源管理）
3. Spark submitter：Spark任务提交环境

所有镜像均继承自基础hadoop镜像，Hadoop安装于/opt/目录，支持通过环境变量配置Hadoop参数。

核心功能

• 快速部署Hadoop集群组件，降低环境搭建成本
• 支持灵活配置Hadoop核心参数（如HDFS、YARN的站点配置）
• 提供Spark任务提交环境，与Hadoop集群无缝集成
• 支持多网络环境访问（通过MULTIHOMED_NETWORK预设）
• 可对接Ganglia监控系统发送 metrics

使用场景

1. 大数据开发与测试环境快速搭建
2. 小规模Hadoop集群部署与验证
3. Spark任务提交与运行调试
4. 学习Hadoop生态系统组件的协同工作

配置说明

环境变量分组

Hadoop配置通过以下环境变量分组控制，对应不同的XML配置文件：

• CORE_CONF：影响/etc/hadoop/core-site.xml
• HDFS_CONF：影响/etc/hadoop/hdfs-site.xml
• YARN_CONF：影响/etc/hadoop/yarn-site.xml
• HTTPFS_CONF：影响/etc/hadoop/httpfs-site.xml
• KMS_CONF：影响/etc/hadoop/KMS-site.xml

变量名替换规则

由于Docker和Docker Compose对环境变量名的限制，需对Hadoop属性名进行替换：

• _ → .（如CORE_CONF_fs_defaultFS对应fs.defaultFS）
• __ → _
• ___ → -（如YARN_CONF_yarn_log___aggregation___enable对应yarn.log-aggregation-enable）

配置预设

• MULTIHOMED_NETWORK：配置集群支持多网络访问，设置多个bind-host为0.0.0.0，并启用主机名解析
• GANGLIA_HOST：指定Ganglia gmond守护进程地址，用于发送监控 metrics

网络建议

1. 创建专用Docker网络（如hadoop网络）
2. 固定容器名与主机名一致
3. 设置域名与网络名相同，使用FQDN访问服务
4. 配置DNS解析容器名，确保Web界面链接正常

组件部署示例

namenode（单实例）

负责HDFS命名空间管理，需指定集群名称。

yaml
namenode:
  image: uhopper/hadoop-namenode
  hostname: namenode
  container_name: namenode
  domainname: hadoop
  net: hadoop
  volumes:
    - <NAMENODE-VOLUME>:/hadoop/dfs/name
  environment:
    - GANGLIA_HOST=<GMOND-RECEIVER-HOST>
    - CLUSTER_NAME=<CLUSTER-NAME>

访问WebUI：http://<容器IP>:50070

datanode（多实例）

负责HDFS数据存储，需指定HDFS地址。

yaml
datanode1:
  image: uhopper/hadoop-datanode
  hostname: datanode1
  container_name: datanode1
  domainname: hadoop
  net: hadoop
  volumes:
    - <DATANODE-VOLUME>:/hadoop/dfs/data
  environment:
    - GANGLIA_HOST=<GMOND-RECEIVER-HOST>
    - CORE_CONF_fs_defaultFS=hdfs://<NAMENODE-HOST>:8020

resourcemanager（单实例）

负责YARN资源调度，需指定HDFS地址。

yaml
resourcemanager:
  image: uhopper/hadoop-resourcemanager
  hostname: resourcemanager
  container_name: resourcemanager
  domainname: hadoop
  net: hadoop
  environment:
    - GANGLIA_HOST=<GMOND-RECEIVER-HOST>
    - CORE_CONF_fs_defaultFS=hdfs://<NAMENODE-HOST>:8020
    - YARN_CONF_yarn_log___aggregation___enable=true

访问WebUI：http://<容器IP>:8088

nodemanager（多实例）

负责节点资源管理，需指定HDFS地址和resourcemanager主机。

yaml
nodemanager1:
  image: uhopper/hadoop-nodemanager
  hostname: nodemanager1
  container_name: nodemanager1
  domainname: hadoop
  net: hadoop
  environment:
    - GANGLIA_HOST=<GMOND-RECEIVER-HOST>
    - CORE_CONF_fs_defaultFS=hdfs://<NAMENODE-HOST>:8020
    - YARN_CONF_yarn_resourcemanager_hostname=<RESOURCEMANAGER-HOST>
    - YARN_CONF_yarn_log___aggregation___enable=true
    - YARN_CONF_yarn_nodemanager_remote___app___log___dir=/app-logs

Spark提交环境

提供Spark环境，需指定HDFS地址和resourcemanager主机。

yaml
spark:
  image: uhopper/hadoop-spark
  hostname: spark
  container_name: spark
  domainname: hadoop
  net: hadoop
  environment:
    - CORE_CONF_fs_defaultFS=hdfs://namenode:8020
    - YARN_CONF_yarn_resourcemanager_hostname=resourcemanager
  command: tail -f /var/log/dmesg

通过docker exec -ti spark bash进入容器使用Spark环境。