laithleo/hadoop Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

Apache Hadoop 3.3.1 YARN Docker镜像

镜像概述

本镜像基于Ubuntu 20.04构建，包含Apache Hadoop 3.3.1版本，已集成YARN资源管理器和HDFS分布式文件系统。HDFS命令已添加到系统PATH中，可直接执行，适用于快速测试Hadoop相关工作负载。

核心功能与特性

• 基础环境：运行在Ubuntu 20.04系统上
• 命令便捷性：HDFS命令已集成到PATH，可直接调用
• 即开即用：HDFS和YARN服务已预配置，启动容器后即可使用
• 测试支持：内置MapReduce示例，便于快速验证Hadoop功能

使用场景

• Hadoop应用开发与调试
• MapReduce作业测试
• HDFS文件系统功能验证
• Hadoop集群基础功能学习与实验

使用方法

构建镜像

若需本地构建镜像，执行以下命令：

bash
docker build -t laithleo/hadoop:3.3.1 .

拉取镜像

直接从仓库拉取已构建的镜像：

bash
docker pull laithleo/hadoop:3.3.1

启动容器

启动容器并映射YARN Web UI端口（8088）：

bash
docker run -p 8088:8088 -it laithleo/hadoop:3.3.1 /tmp/bootstrap.sh -bash

测试示例

运行MapReduce测试作业

容器启动后，可执行内置的MapReduce示例作业：

bash
hadoop jar /opt/hadoop-3.3.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar grep input output 'dfs[a-z.]+'

查看作业输出

• 通过Web UI：在主机浏览器访问 [***] 查看YARN集群和作业状态
• 通过容器内命令：在容器终端执行以下命令查看输出文件列表：

  bash
  hdfs dfs -ls /user/root/output/