alicek106/hadoop

alicek106/hadoop:0.5 镜像文档

镜像概述

alicek106/hadoop:0.5是一个基于Java 8构建的Hadoop镜像，集成了Hadoop 2.6和OpenCV 2.4.9，主要用于快速搭建Hadoop分布式集群环境。该镜像提供了基础的Hadoop运行环境，支持通过简单配置实现主从节点部署。

核心功能与特性

• 环境配置：基于Java 8运行环境，预安装Hadoop 2.6和OpenCV 2.4.9
• 集群支持：支持通过容器链接方式搭建主从架构的Hadoop集群
• Web监控：默认开放50070端口用于NameNode dashboard访问
• 灵活扩展：可根据需求创建多个slave节点，实现集群规模扩展

使用场景

适用于需要快速部署Hadoop分布式集群的开发、测试场景，尤其适合需要结合Java 8和OpenCV 2.4.9进行大数据处理的应用环境。

使用方法

1. 创建主节点（master）

通过以下命令创建Hadoop主节点容器：

bash
docker run -i -t --name master -h master -p 50070:50070 docker.xuanyuan.run/alicek106/hadoop:0.5 /bin/bash

参数说明：

• -p 50070:50070：映射NameNode dashboard端口，便于通过浏览器访问
• 如需使用webhcat等其他服务，可添加更多-p参数映射相应端口

2. 创建从节点（slave）

根据集群需求创建一个或多个从节点容器：

bash
docker run -i -t --name slave0 -h slave0 --link master:master docker.xuanyuan.run/alicek106/hadoop:0.5 /bin/bash

说明：

• --link master:master：将slave节点与master节点建立链接
• 可通过修改--name参数创建多个slave（如slave1、slave2等）

3. 确认slave节点IP

获取各slave节点的虚拟IP地址（Docker默认网络下通常为172.17.0.x网段），例如：

• slave0的IP可能为172.17.0.5
• slave1的IP可能为172.17.0.6

4. 配置master节点hosts文件

进入master容器，编辑/etc/hosts文件，添加slave节点的IP与主机名映射：

bash
# 在master容器中执行
vi /etc/hosts

添加以下内容（根据实际slave节点IP调整）：

172.17.0.5 slave0
172.17.0.6 slave1
# 如有更多slave节点，继续添加

5. 配置Hadoop slaves文件

编辑Hadoop配置目录下的slaves文件，添加所有slave节点主机名：

bash
# 在master容器中执行
vi $HADOOP_CONFIG_HOME/slaves

添加内容：

slave0
slave1
# 如有更多slave节点，继续添加

6. 启动Hadoop集群

在master节点执行启动命令：

bash
start-all.sh

7. 验证集群状态

通过以下命令检查所有slave节点是否正常工作：

bash
hdfs dfsadmin -report

问题反馈

如在使用过程中遇到问题，可通过以下方式联系：

• ：
• 博客：blog.naver.com/alice_k106