neshkeev/hadoop

neshkeev 打包的 Hadoop Docker 镜像

免责声明：

本软件由 neshkeev 打包。产品中提及的相关商标归各自公司所有，使用这些商标并不意味着任何关联或背书。

快速启动

仓库中提供了功能完整的 docker-compose.yml 文件。可按以下方式使用它运行应用：

bash
curl -sSL https://raw.githubusercontent.com/neshkeev/containers/master/hadoop/examples/simple/docker-compose.yml > docker-compose.yml
docker compose up

Apache Hadoop 概述

Apache Hadoop 软件库是一个框架，允许使用简单的编程模型在计算机集群上分布式处理大型数据集。

目标

此打包镜像非常适合演示、测试或教学目的，因为它在单个 Docker 镜像中包含了完整的 Hadoop 发行版。客户端应用程序可以使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS) 执行基本操作。

支持架构

该 Docker 镜像可用于在以下架构上运行 Hadoop 集群：

• amd64
• aarch64/arm64

标签

配置

配置 Hadoop 集群有两种可组合使用的方式：

挂载配置文件

可挂载已准备好的配置文件：

• core-site.xml -> /opt/hadoop/etc/hadoop/core-site.xml
• hdfs-site.xml -> /opt/hadoop/etc/hadoop/hdfs-site.xml
• yarn-site.xml -> /opt/hadoop/etc/hadoop/yarn-site.xml
• mapred-site.xml -> /opt/hadoop/etc/hadoop/mapred-site.xml
• 等等

环境变量

可通过环境变量修改现有配置文件。

要修改配置属性，需构造名称符合以下模式的环境变量：前缀 + 配置名称。

例如，fs.defaultFS 的值应存储在 CORE-SITE.XML_fs.defaultFS 环境变量中，如下所示：

CORE-SITE.XML_fs.defaultFS=hdfs://namenode:9000

前缀由配置所属的文件派生而来。可参考示例中的 https://github.com/neshkeev/containers/blob/master/hadoop/examples/simple/docker-compose.yml#L26 文件。

优先级

环境变量的值优先于挂载的配置文件。

示例

在单节点 Hadoop 集群上计算 Pi

1. 下载 https://raw.githubusercontent.com/neshkeev/containers/master/hadoop/examples/simple/docker-compose.yml%EF%BC%9A

bash
curl -sSL https://raw.githubusercontent.com/neshkeev/containers/master/hadoop/examples/multi-node-cluster/docker-compose.yml > docker-compose.yml

2. 启动 docker compose 服务：

bash
docker compose up

3. 进入 hadoop docker compose 服务：

bash
docker compose exec -it hadoop bash

4. 运行 Pi 计算任务：

bash
yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi 10 15

5. 在 Web 界面查看工作负载：
   • NameNode: http://localhost:9870/explorer.html
   • ResourceManager: http://localhost:8088
6. 退出 hadoop docker 容器：

exit

7. 停止集群：

docker compose down

在多节点 Hadoop 集群上运行 Map Reduce 任务

运行 Hadoop 发行版默认包含的 grep 示例：

1. 下载 https://raw.githubusercontent.com/neshkeev/containers/master/hadoop/examples/multi-node-cluster/docker-compose.yml%EF%BC%9A

bash
curl -sSL https://raw.githubusercontent.com/neshkeev/containers/master/hadoop/examples/multi-node-cluster/docker-compose.yml > docker-compose.yml

2. 启动 docker compose 服务：

bash
docker compose up

3. 等待所有服务变为 healthy：

bash
docker compose ps

4. 进入 hadoop docker compose 服务：

bash
docker compose exec -it hadoop bash

5. 创建执行 MapReduce 作业所需的用户目录：

bash
hdfs dfs -mkdir -p /user/hadoop

6. 创建输入目录：

bash
hdfs dfs -mkdir -p input

7. 将输入文件复制到 HDFS：

bash
hdfs dfs -put -f /opt/hadoop/etc/hadoop/*.xml input

8. 启动 Map Reduce 作业：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

9. 在 Web 界面查看工作负载：
   • NameNode: http://localhost:9870/explorer.html
   • ResourceManager: http://localhost:8088
10. 查看结果：

bash
hdfs dfs -cat output/*

11. 将结果复制到本地文件系统：

bash
hdfs dfs -get output ~/output

12. 分析结果：

bash
find ~/output

13. 删除结果：

hdfs dfs -rm -r output

14. 退出 resourcemanager docker 容器：

exit

15. 停止集群：

docker compose down

通过 JMX 连接 Hadoop 服务

1. 启动 Hadoop 集群：

bash
curl -sSL https://raw.githubusercontent.com/neshkeev/containers/master/hadoop/examples/jmx/docker-compose.yml > docker-compose.yml
docker compose up -d

2. 打开 jconsole（或 visualvm）：

bash
jconsole

3. 创建远程 JMX 连接：
   • NameNode: localhost:59870
   • DataNode: localhost:59864
   • ResourceManager: localhost:58088
   • NodeManager: localhost:58042
   • HistoryServer: localhost:59888