ruo91/hadoop

Apache Hadoop 2.x - 伪分布式模式 Docker 镜像

镜像概述

本镜像提供 Apache Hadoop 2.x 版本的伪分布式模式部署，可快速搭建单节点Hadoop集群环境。伪分布式模式模拟了分布式集群的功能，所有Hadoop守护进程（NameNode、DataNode、ResourceManager、NodeManager等）运行在单个容器内，适用于开发、测试和学习Hadoop生态系统。

核心功能与特性

• 伪分布式架构：在单容器内运行完整Hadoop服务，包括NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager
• 预配置环境：无需手动配置Hadoop环境变量和配置文件，开箱即用
• Web UI支持：提供Hadoop各组件的Web管理界面，便于监控集群状态
• SSH访问：支持通过SSH登录容器，直接操作Hadoop集群
• 端口映射：开放Hadoop核心服务端口，支持外部访问和集成

使用场景

• Hadoop初学者学习和实践HDFS、MapReduce等核心组件
• 开发人员测试Hadoop应用程序和MapReduce作业
• 小规模数据处理任务的快速部署和验证
• Hadoop配置和调优的实验环境

使用方法

直接运行容器

通过Docker Hub拉取并运行镜像：

bash
docker run -d --name="hadoop" -h "hadoop" \
-p 8042:8042 -p 8088:8088 -p 50070:50070 -p 50075:50075 -p 50090:50090 ruo91/hadoop:2.7.x

从源码构建镜像

1. 克隆源码仓库：

   bash
   git clone https://github.com/ruo91/docker-hadoop.git /opt/docker-hadoop
   

2. 切换到2.7.x分支：

   bash
   cd /opt/docker-hadoop
   git checkout -b 2.7.x origin/2.7.x
   

3. 构建镜像：

   bash
   docker build --rm -t hadoop:2.7.x /opt/docker-hadoop
   

4. 运行构建的镜像：

   bash
   docker run -d --name="hadoop" -h "hadoop" \
   -p 8042:8042 -p 8088:8088 -p 50070:50070 -p 50075:50075 -p 50090:50090 hadoop:2.7.x
   

端口说明

SSH登录容器

容器root用户密码为hadoop，通过以下步骤登录：

1. 获取容器IP地址：

   bash
   docker inspect -f '{{ .NetworkSettings.IPAddress }}' hadoop
   

2. SSH登录：

   bash
   ssh root@<容器IP地址>
   

启动Hadoop服务

登录容器后，启动所有Hadoop服务：

bash
start-all.sh

验证服务是否正常启动：

bash
jps

正常输出应包含以下进程：

• NodeManager
• DataNode
• Jps
• NameNode
• ResourceManager
• SecondaryNameNode

功能测试

HDFS文件操作测试

1. 创建测试文件：

   bash
   for((i=0; i<10; i++)) do echo ${i}; done > test.log
   

2. 上传文件到HDFS：

   bash
   hdfs dfs -copyFromLocal test.log /
   

3. 查看HDFS根目录文件：

   bash
   hdfs dfs -ls /
   

预期输出：

Found 1 items
-rw-r--r--   3 root supergroup         20 <日期> /test.log

MapReduce作业测试

运行Hadoop内置的圆周率计算示例：

bash
hadoop jar $HADOOP_PREFIX/share/hadoop/mapreduce/hadoop-mapreduce-examples*.jar pi 3 3

作业完成后将输出圆周率的估算值，类似：

Estimated value of Pi is 3.55555555555555555556

Web UI访问

通过以下URL访问Hadoop各组件的Web管理界面：

• NameNode信息：http://<容器IP或主机IP>:50070
• DataNode信息：http://<容器IP或主机IP>:50075
• SecondaryNameNode信息：http://<容器IP或主机IP>:50090
• ResourceManager信息：http://<容器IP或主机IP>:8088
• NodeManager信息：http://<容器IP或主机IP>:8042
• HDFS文件系统浏览：http://<容器IP或主机IP>:50070/explorer.html