ading1977/hadoop

多节点Hadoop集群Docker镜像文档

镜像概述和主要用途

本Docker镜像用于部署多节点Hadoop集群，需使用--net="host"选项让容器使用主机网络。镜像集成了完整的Hadoop生态组件，支持快速搭建分布式计算环境，适用于开发、测试及小型生产环境的Hadoop集群部署。

核心功能和特性

包含的软件包

• 基础系统：Ubuntu 14.04
• Java环境：JDK 7
• Hadoop版本：
  • ading1977/hadoop:latest：Hadoop 3.0.0-SNAPSHOT（基于https://github.com/apache/hadoop%E6%9E%84%E5%BB%BA%EF%BC%89
  • ading1977/hadoop:2.8.0：Hadoop 2.8.0-SNAPSHOT（基于https://github.com/apache/hadoop/tree/branch-2.8%E6%9E%84%E5%BB%BA%EF%BC%89
• Apache Slider：基于https://github.com/apache/incubator-slider%E6%9E%84%E5%BB%BA%EF%BC%8C%E5%AE%9A%E6%9C%9F%E6%9B%B4%E6%96%B0
• Apache ZooKeeper：最新稳定版本

限制说明

当前仅支持root用户操作。

使用场景和适用范围

• 快速部署多节点Hadoop集群进行开发测试
• 构建小型分布式数据处理环境
• 学习和研究Hadoop集群架构与配置

详细使用方法和配置说明

环境准备

1. 集群角色规划

在集群所有主机上明确节点角色，需指定：

• Namenode
• Datanode
• Resourcemanager
• Nodemanager
• ZooKeeper
  （通常Datanode和Nodemanager部署在同一主机）

2. 检查Docker安装

确保所有主机已正确安装Docker，版本要求：

sh
> docker version
Client:
 Version:      1.8.3
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   f4bf5c7
 Built:        Mon Oct 12 05:37:18 UTC 2015
 OS/Arch:      linux/amd64

Server:
 Version:      1.8.3
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   f4bf5c7
 Built:        Mon Oct 12 05:37:18 UTC 2015
 OS/Arch:      linux/amd64

3. 清理旧环境

在所有主机上清理残留Hadoop目录：

sh
rm -rf /opt/hadoop
rm -rf /var/lib/hadoop

获取启动脚本

1. 克隆部署脚本仓库

sh
git clone https://github.com/ading1977/docker-hadoop-deployer.git

2. 切换对应Hadoop版本分支

根据部署的Hadoop版本切换分支，例如部署2.8.0版本：

sh
cd docker-hadoop-deployer
git checkout -t origin/2.8.0

配置脚本参数

编辑runHadoop.sh脚本，设置必要配置参数：

sh
# 自定义Hadoop配置
: ${CONF_NAMENODE:=node1}          # Namenode主机名
: ${CONF_RESOURCEMANAGER:=node2}   # Resourcemanager主机名
: ${CONF_DFS_REPLICATION:=3}       # HDFS副本数
: ${CONF_ZK_QUORUM:=node:2181}     # ZooKeeper集群地址（格式：host:port）

启动集群

1. 复制脚本到所有主机

将配置好的docker-hadoop-deployer目录复制到集群所有主机。

2. 启动各角色服务

在对应角色主机上执行以下命令：

• Namenode节点：

  sh
  sudo ./runHadoop.sh namenode
  

• Datanode节点：

  sh
  sudo ./runHadoop.sh datanode
  

• Resourcemanager节点：

  sh
  sudo ./runHadoop.sh resourcemanager
  

• Nodemanager节点：

  sh
  sudo ./runHadoop.sh nodemanager
  

• ZooKeeper节点：

  sh
  sudo ./runHadoop.sh zookeeper
  

3. 进入Hadoop环境Shell

无需参数运行脚本即可进入包含Hadoop环境的Shell：

sh
sudo ./runHadoop.sh

数据持久化

以下目录通过绑定挂载到主机，确保容器删除后数据仍可保留：

• HDFS数据：/var/lib/hadoop
• ZooKeeper数据：/var/lib/zookeeper
• Hadoop配置：/opt/hadoop/etc/hadoop
• Hadoop日志：/opt/hadoop/logs

自动更新机制

启动脚本会自动检查Docker Hub上是否有更新的镜像，若有则拉取最新镜像，停止并移除当前容器，基于新镜像启动新容器。