sfedyakov/hadoop-271-cluster

Apache Hadoop/Yarn 2.7.1集群Docker镜像

项目Git仓库地址：https://github.com/sfedyakov/hadoop-271-cluster

本项目是对https://github.com/lresende/docker-yarn-cluster%E7%9A%84%E5%85%8B%E9%9A%86%EF%BC%8C%E5%81%9A%E4%BA%86%E5%8F%AF%E7%94%A8%E6%80%A7%E5%A2%9E%E5%BC%BA%EF%BC%8C%E4%BD%BF%E5%85%B6%E8%83%BD%E5%9C%A8Docker Machine/Compose Swarm集群中工作（核心优化为跨节点同步/etc/hosts条目，解决Docker Compose的DNS和主机别名问题）。

镜像概述

基于Apache Hadoop 2.7.1和Yarn构建，用于快速部署Hadoop集群环境，支持多种部署方式，适用于大数据开发、测试及学习场景。

核心功能

1. 支持单节点逐个启动namenode和datanode
2. 支持Docker Compose本地集群部署
3. 支持Docker Swarm分布式集群部署
4. 提供Hadoop Admin UI（8088端口）和HDFS Admin UI（50070端口）访问
5. 支持MapReduce任务运行与测试

使用场景

1. 本地大数据开发环境搭建
2. Hadoop集群功能验证与测试
3. Docker Swarm分布式环境下的大数据集群部署

配置说明

构建镜像

构建前需下载Oracle Java和Apache Hadoop安装包：

bash
curl -LO http://ftp.jaist.ac.jp/pub/apache/hadoop/core/hadoop-2.7.1/hadoop-2.7.1.tar.gz
curl -LO 'http://download.oracle.com/otn-pub/java/jdk/8u73-b02/jdk-8u73-linux-x64.rpm' -H 'Cookie: oraclelicense=accept-securebackup-cookie'

构建镜像：

bash
docker build -t sfedyakov/hadoop-271-cluster .

运行Hadoop集群

1. 逐个启动节点

1.1 启动Namenode容器

bash
sudo docker run -i -t --name namenode -h namenode sfedyakov/hadoop-271-cluster /etc/bootstrap.sh -bash -namenode

可通过http://<host>:8088/cluster访问Hadoop Admin UI（主机需关闭SELinux，boot2docker无需操作）。

1.2 启动Datanode容器

bash
sudo docker run -i -t --link namenode:namenode --dns=namenode sfedyakov/hadoop-271-cluster /etc/bootstrap.sh -bash -datanode

可通过http://<host>:50070访问HDFS Admin UI。

2. 本地Docker Compose部署

准备类似docker-compose.yml_1machine的配置文件后，执行：

bash
docker-compose scale namenode=1 datanode=3

3. Docker Swarm分布式部署

3.a 准备Swarm集群机器

bash
docker-machine create -d virtualbox mh-keystore
docker $(docker-machine config mh-keystore) run -d -p "8500:8500" -h "consul" progrium/consul -server -bootstrap
docker-machine create -d virtualbox --swarm --swarm-master --swarm-discovery="consul://$(docker-machine ip mh-keystore):8500" --engine-opt="cluster-store=consul://$(docker-machine ip mh-keystore):8500" --engine-opt="cluster-advertise=eth1:2376" swarm-master
docker-machine create -d virtualbox --swarm --swarm-discovery="consul://$(docker-machine ip mh-keystore):8500" --engine-opt="cluster-store=consul://$(docker-machine ip mh-keystore):8500" --engine-opt="cluster-advertise=eth1:2376" swarm-01
docker-machine create -d virtualbox --swarm --swarm-discovery="consul://$(docker-machine ip mh-keystore):8500" --engine-opt="cluster-store=consul://$(docker-machine ip mh-keystore):8500" --engine-opt="cluster-advertise=eth1:2376" swarm-02

3.b 创建Overlay网络

bash
eval $(docker-machine env --swarm swarm-master)
docker network create --driver overlay --subnet=10.0.9.0/24 appnet

3.c 同步镜像到Swarm机器

导出镜像：

bash
docker save -o hdc271.tar sfedyakov/hadoop-271-cluster

移除旧镜像（若更新）：

bash
for z in $(docker-machine ls --filter name=swarm* -q) ; do docker-machine ssh $z docker rmi sfedyakov/hadoop-271-cluster ; done

导入镜像到每个Swarm机器：

bash
docker-machine ssh swarm-01
docker load -i /<path_to_>/hdc271.tar && docker images && exit

3.d 启动集群

bash
docker-compose scale namenode=1 datanode=2

（注：支持Docker Machine兼容的基础设施如AWS、DO、OpenStack等）

测试

修改副本因子

bash
for z in $(docker ps -q) ; do docker exec $z sed -i 's/<value>1/<value>2/' /usr/local/hadoop/etc/hadoop/hdfs-site.xml ; done

准备测试数据

bash
docker exec -it namenode /bin/bash --login
hdfs dfs -mkdir -p /tmp/wnp/input/ 
curl -LO http://www.gutenberg.org/cache/epub/2600/pg2600.txt 
hdfs dfs -put pg2600.txt /tmp/wnp/input/ 
hdfs dfs -put pg2600.txt /tmp/wnp/input/wnp1.txt 
hdfs dfs -put pg2600.txt /tmp/wnp/input/wnp2.txt 
hdfs dfs -put pg2600.txt /tmp/wnp/input/wnp3.txt 
hdfs dfs -put pg2600.txt /tmp/wnp/input/wnp4.txt 
hdfs dfs -put pg2600.txt /tmp/wnp/input/wnp5.txt 
hdfs dfs -ls /tmp/wnp/input/
rm -f pg2600.txt
exit

运行MapReduce任务

bash
docker exec namenode hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /tmp/wnp/input/ /tmp/wnp/output/

限制条件

1. 仅允许一个Namenode节点
2. /etc/hosts每60秒同步一次，新增节点需约1分钟被识别（等待Docker Compose修复DNS问题）