westernscience/hadoop

westernscience/hadoop 镜像文档

镜像概述

westernscience/hadoop是一个基于Hadoop 3.3的伪分布式容器，专为测试场景设计。容器启动时通过引导命令自动启动Hadoop核心组件（namenodes、datanodes、resourcemanager和nodemanagers），Hadoop相关二进制文件、库和示例代码位于$HADOOP_HOME路径下。

核心功能与特性

• 伪分布式模式：在单一容器内模拟Hadoop分布式环境
• 自动组件启动：启动容器时自动初始化并运行Hadoop核心服务
• 完整Hadoop环境：包含Hadoop二进制文件、配置文件及示例代码
• 持久化支持：可通过卷挂载实现HDFS数据持久化
• 本地目录挂载：支持将本地目录挂载到容器中，方便代码开发与测试
• 内置Python：默认预装Python环境，满足基础数据处理需求

使用场景

• Hadoop应用开发测试
• HDFS文件系统操作学习
• MapReduce示例程序运行
• 快速搭建临时Hadoop测试环境

使用方法

获取镜像

使用Docker或Podman拉取镜像：

bash
# Docker
docker pull westernscience/hadoop

# Podman
podman pull docker.io/westernscience/hadoop

启动容器

基础启动

bash
# 使用docker
docker run -it westernscience/hadoop /etc/bootstrap.sh -bash

# 使用podman
podman run -it westernscience/hadoop /etc/bootstrap.sh -bash

带持久化HDFS存储

通过挂载本地目录实现HDFS数据持久化：

bash
# 将本地路径/localpath挂载到容器/tmp目录
docker run -it -v /localpath:/tmp westernscience/hadoop /etc/bootstrap.sh -bash

挂载本地代码目录

将本地代码目录（如/home/<username>/mycode）挂载到容器/hadoop目录：

bash
docker run -it -v /home/<username>/mycode:/hadoop westernscience/hadoop /etc/bootstrap.sh -bash

HDFS文件系统操作

容器启动后，可通过以下命令操作HDFS：

bash
# 列出HDFS根目录内容
$HADOOP_HOME/bin/hdfs dfs -ls

# 创建HDFS目录
$HADOOP_HOME/bin/hdfs dfs -mkdir input

# 查看创建结果
$HADOOP_HOME/bin/hdfs dfs -ls

运行示例代码

以Hadoop自带的grep示例为例：

bash
# 将Hadoop配置文件上传到HDFS input目录
$HADOOP_HOME/bin/hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml input

# 运行grep示例（查找包含'dfs[a-z.]+'模式的内容）
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar grep input output 'dfs[a-z.]+'

额外软件说明

容器默认已预装Python环境。如需其他编程语言支持，需基于此镜像构建派生镜像。