dockmob/hadoop

docker-hadoop

镜像概述和主要用途

docker-hadoop是用于Apache Hadoop的Docker镜像，支持Hadoop生态系统核心组件，包括YARN（资源管理器）、HDFS（分布式文件系统）和MapReduce（分布式计算框架）。该镜像旨在简化Hadoop集群的部署流程，提供开箱即用的Hadoop环境，适用于开发、测试和学习场景。

核心功能和特性

• 完整Hadoop组件支持：集成YARN、HDFS和MapReduce核心组件，满足大数据存储和计算需求
• 简化集群部署：通过容器化方式快速搭建HDFS集群，无需手动配置复杂的Hadoop环境
• 灵活的节点配置：支持独立部署Namenode（名称节点）和Datanode（数据节点），构建分布式集群
• 轻量级部署：基于Docker容器，资源隔离性好，便于环境复制和迁移

使用场景和适用范围

• 开发与测试：为Hadoop应用程序开发提供本地测试环境
• 学习与研究：帮助用户快速上手Hadoop生态系统，了解分布式计算原理
• 原型验证：快速搭建临时Hadoop集群，验证大数据处理方案可行性

使用方法和配置说明

HDFS集群部署

HDFS集群由一个Namenode容器和至少3个Datanode容器组成。Namenode负责管理文件系统元数据，Datanode负责存储实际数据。两者均使用dockmob/hadoop镜像部署。

1. 启动Namenode容器

bash
docker run -d -h dfs --name dfs dockmob/hadoop -t namenode -r 3

参数说明：

• -d：后台运行容器
• -h dfs：设置容器主机名为dfs（Namenode标识）
• --name dfs：指定容器名称为dfs
• -t namenode：指定容器类型为Namenode
• -r 3：指定集群所需的Datanode数量为3

2. 启动Datanode容器

需启动至少3个Datanode容器，分别执行以下命令：

bash
docker run -d -h dn1 --name dn1 dockmob/hadoop -t datanode -n dfs
docker run -d -h dn2 --name dn2 dockmob/hadoop -t datanode -n dfs
docker run -d -h dn3 --name dn3 dockmob/hadoop -t datanode -n dfs

参数说明：

• -h dn1/dn2/dn3：设置各Datanode容器的主机名
• --name dn1/dn2/dn3：指定各Datanode容器的名称
• -t datanode：指定容器类型为Datanode
• -n dfs：指定Namenode的主机名（需与Namenode容器的主机名保持一致）

验证集群状态

集群启动后，可通过访问Namenode的Web界面（默认端口50070）验证HDFS集群状态，确认Datanode是否成功连接。