gelog/hadoop

Hadoop Docker镜像

!hadoop logo

支持的标签及对应Dockerfile链接

• https://github.com/GELOG/docker-ubuntu-hadoop/tree/2.6.0/Dockerfile
• https://github.com/GELOG/docker-ubuntu-hadoop/tree/2.5.2/Dockerfile
• https://github.com/GELOG/docker-ubuntu-hadoop/tree/2.5.1/Dockerfile
• https://github.com/GELOG/docker-ubuntu-hadoop/tree/2.5.0/Dockerfile
• https://github.com/GELOG/docker-ubuntu-hadoop/tree/2.4.1/Dockerfile
• https://github.com/GELOG/docker-ubuntu-hadoop/tree/2.4.0/Dockerfile
• https://github.com/GELOG/docker-ubuntu-hadoop/tree/2.3.0/Dockerfile

什么是Hadoop？

Apache™ Hadoop®项目开发用于可靠、可扩展、分布式计算的开源软件。

Apache Hadoop软件库是一个框架，允许使用简单的编程模型在计算机集群上分布式处理大型数据集。它设计为从单台服务器扩展到数千台机器，每台机器提供本地计算和存储。该库并非依赖硬件来提供高可用性，而是在应用层设计为检测和处理故障，从而在可能容易发生故障的计算机集群之上提供高可用服务。

[***]

什么是Docker？

Docker是一个开放平台，供开发人员和系统管理员构建、交付和运行分布式应用程序。它由Docker Engine（一个便携、轻量级的运行时和打包工具）和Docker Hub（一个用于共享应用程序和自动化工作流的云服务）组成，使应用程序能够快速从组件组装，并消除开发、QA和生产环境之间的摩擦。因此，IT可以更快地交付，并在笔记本电脑、数据中心VM和任何云上运行相同的应用程序（无需修改）。

[***]

什么是Docker镜像？

Docker镜像是容器的基础。镜像是只读的，而容器是可写的。只有容器可以由操作系统执行。

[***]

如何使用此镜像？

启动NameNode

此命令在后台启动HDFS NameNode容器，并开始跟踪其日志。

bash
docker run -d --name hdfs-namenode \
    -h hdfs-namenode -p 50070:50070 \
    gelog/hadoop hdfs namenode && \
docker logs -f hdfs-namenode

如果日志中一切正常（无错误），按CTRL + C将控制台与日志分离。

启动DataNode

此命令在后台启动单独的HDFS DataNode容器，将其与NameNode容器链接，并开始跟踪其日志。

bash
docker run -d --name hdfs-datanode1 \
    -h hdfs-datanode1 -p 50075:50075 \
    --link=hdfs-namenode:hdfs-namenode \
    gelog/hadoop hdfs datanode && \
docker logs -f hdfs-datanode1

如果日志中一切正常（无错误），按CTRL + C将控制台与日志分离。

启动Secondary NameNode

此命令在后台启动单独的HDFS Secondary NameNode容器，将其与NameNode容器链接，并开始跟踪其日志。

bash
docker run -d --name hdfs-secondarynamenode \
    -h hdfs-secondarynamenode -p 50090:50090 \
    --link=hdfs-namenode:hdfs-namenode \
    gelog/hadoop hdfs secondarynamenode && \
docker logs -f hdfs-secondarynamenode

如果日志中一切正常（无错误），按CTRL + C将控制台与日志分离。

启动YARN

此命令在后台启动YARN系统容器。它与NameNode、DataNode链接。start-yarn.sh脚本启动YARN Node Manager和YARN Resource Manager。

bash
docker run -d --name yarn \
    -h yarn \
    -p 8088:8088 \
    -p 8042:8042 \
    --link=hdfs-namenode:hdfs-namenode \
    --link=hdfs-datanode1:hdfs-datanode1 \
    -v $HOME/data/hadoop/hdfs:/data \
    gelog/hadoop start-yarn.sh && \
docker logs -f yarn

提交MapReduce作业

在HDFS中放入一些数据

bash
docker run --rm \
    --link=hdfs-namenode:hdfs-namenode \
    --link=hdfs-datanode1:hdfs-datanode1 \
    gelog/hadoop \
    hadoop fs -put /usr/local/hadoop/README.txt /README.txt

启动WordCount示例

此命令运行WordCount示例。

bash
docker run --rm \
    --link yarn:yarn \
    --link=hdfs-namenode:hdfs-namenode \
    gelog/hadoop \
    hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /README.txt /README.result

如果README.result已存在，需要在运行MapReduce作业前删除它。

bash
docker run --rm --link=hdfs-namenode:hdfs-namenode \
    --link=hdfs-datanode1:hdfs-datanode1 \
    gelog/hadoop \
    hadoop fs -rm -R -f /README.result

查看结果

bash
docker run --rm --link=hdfs-namenode:hdfs-namenode \
    --link=hdfs-datanode1:hdfs-datanode1 \
    gelog/hadoop \
    hadoop fs -cat /README.result/*

访问Web界面

每个组件都提供自己的Web UI。在浏览器中打开以下URL之一，其中dockerhost是运行Docker守护进程的主机名/IP。如果使用Linux，这是Linux机器的IP。如果使用OSX或Windows（通过Boot2docker），可以通过输入boot2docker ip获取Docker主机。在我的机器上，NameNode UI可通过http://192.168.59.103:50070/访问。

使用docker-compose使用此镜像

注意：终端需要位于docker-compose.yml所在的文件夹中。

可以使用docker-compose启动此镜像。它将启动一个NameNode、一个Secondary NameNode和一个DataNode。可以扩展DataNode的数量。

使用基本设置启动镜像

bash
docker-compose up -d && \
    docker-compose logs

如果日志中一切正常（无错误），按CTRL + C将控制台与日志分离。

扩展DataNode

如果要增加集群中DataNode的数量：

bash
docker-compose scale datanode=<实例数量>

查找Web访问端口

为了允许DataNode扩展，需要让Docker决定主机上使用的端口。要查找端口：

bash
docker-compose port datanode 50075

使用此端口，可以访问DataNode的Web界面。