5200710/hadoop

Hadoop伪分布式Docker镜像

镜像概述和主要用途

本镜像基于Hadoop官网单节点集群搭建教程构建，提供伪分布式Hadoop环境，适用于Hadoop初学者进行学习和练习。无需复杂配置即可快速部署单节点Hadoop集群，支持HDFS文件系统和YARN资源管理功能。

核心功能和特性

• 伪分布式模式：模拟分布式环境，包含Namenode、Datanode、ResourceManager、NodeManager等核心组件
• 完整组件：集成HDFS和YARN，支持基本的MapReduce作业运行
• Web管理界面：提供Namenode和ResourceManager的Web监控界面
• 便捷部署：支持通过docker run直接启动或docker-compose编排部署

使用场景和适用范围

• Hadoop初学者学习和实践HDFS操作
• 开发和测试简单的MapReduce程序
• 熟悉YARN资源管理器的基本使用
• 快速搭建单节点Hadoop实验环境

详细使用方法和配置说明

1. 直接启动

使用docker run命令直接启动容器：

bash
docker run -it -p 8088:8088 -p 9000:9000 -p 8042:8042 -p 9870:9870 5200710/hadoop:3.3.5-pseudo bash

2. 通过Docker Compose启动

创建docker-compose.yml文件：

yaml
version: "3"
services:
  hadoop:
    image: 5200710/hadoop:3.3.5-pseudo
    ports:
      - 8088:8088  # YARN ResourceManager Web端口
      - 9000:9000  # HDFS默认文件系统端口
      - 9870:9870  # HDFS Namenode Web端口
      - 9864:9864  # DataNode HTTP端口（用于Web界面文件上传）

启动服务：

bash
docker-compose up -d

3. 进入容器

启动后通过以下命令进入容器：

bash
docker exec -it `docker ps -l -q` su hadoop

4. 验证服务状态

在容器内使用jps命令查看Hadoop进程状态：

bash
jps

正常输出应包含以下进程：

272 NameNode
409 DataNode
681 SecondaryNameNode
1131 ResourceManager
1282 NodeManager

5. 访问Web界面

容器启动后，可在宿主机通过以下地址访问Web界面：

• YARN ResourceManager Web界面：http://localhost:8088
• HDFS Namenode Web界面：http://localhost:9870

6. 端口说明

注意事项

• 通过Namenode Web界面上传文件到HDFS时，需确保映射9864端口
• 如需宿主机通过域名访问DataNode的HTTPS端口，需在宿主机设置容器域名映射

参考资料

1. Hadoop官网单节点集群搭建教程
2. Hadoop2.x/3.x常用端口号对比
3. https://github.com/big-data-europe/docker-hadoop