neshkeev/hadoop

neshkeev

单节点Hadoop集群，支持使用Hadoop MapReduce和HDFS执行基本操作，适用于演示、测试或教学场景，包含完整Hadoop发行版。

1 次收藏下载次数: 0状态：社区镜像维护者：neshkeev仓库类型：镜像最近更新：2 年前

让 AI 帮你使用轩辕镜像？ · 展开查看说明 · 点击收起说明

如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。

只需在 AI 对话中先发送下面这句话即可：

请先完整阅读并严格遵守以下文档中的全部规则与要求：

https://xuanyuan.cloud/agents.md

在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。

查看 agents.md 用法指南与完整示范。国内用户首推元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。若 AI 无法访问外链，可打开说明文档复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。

镜像标签列表与下载命令

neshkeev 打包的 Hadoop Docker 镜像

免责声明：

本软件由 neshkeev 打包。产品中提及的相关商标归各自公司所有，使用这些商标并不意味着任何关联或背书。

快速启动

仓库中提供了功能完整的 docker-compose.yml 文件。可按以下方式使用它运行应用：

bash
curl -sSL https://raw.githubusercontent.com/neshkeev/containers/master/hadoop/examples/simple/docker-compose.yml > docker-compose.yml
docker compose up

https://hadoop.apache.org/ 概述

Apache Hadoop 软件库是一个框架，允许使用简单的编程模型在计算机集群上分布式处理大型数据集。

目标

此打包镜像非常适合演示、测试或教学目的，因为它在单个 Docker 镜像中包含了完整的 Hadoop 发行版。客户端应用程序可以使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS) 执行基本操作。

支持架构

该 Docker 镜像可用于在以下架构上运行 Hadoop 集群：

amd64
aarch64/arm64

标签	支持平台	描述
https://github.com/neshkeev/containers/blob/master/hadoop/Dockerfile, https://github.com/neshkeev/containers/blob/master/hadoop/Dockerfile, https://github.com/neshkeev/containers/blob/master/hadoop/Dockerfile	`linux/amd64`, `linux/arm64`	Apache Hadoop 3.6.6，基于 `x86-64` 架构的 https://hub.docker.com/_/amazoncorretto 或 `arm64` 架构的 https://hub.docker.com/r/bellsoft/liberica-openjdk-centos
https://github.com/neshkeev/containers/blob/master/hadoop/Dockerfile, https://github.com/neshkeev/containers/blob/master/hadoop/Dockerfile	`linux/amd64`, `linux/arm64`	Apache Hadoop 3.6.6，基于 `x86-64` 架构的 https://hub.docker.com/_/amazoncorretto 或 `arm64` 架构的 https://hub.docker.com/r/bellsoft/liberica-openjdk-centos
https://github.com/neshkeev/containers/blob/master/hadoop/Dockerfile	`linux/amd64`, `linux/arm64`	Apache Hadoop 3.6.6，基于 `x86-64` 架构的 https://hub.docker.com/_/amazoncorretto 或 `arm64` 架构的 https://hub.docker.com/r/bellsoft/liberica-openjdk-centos
https://github.com/neshkeev/containers/blob/master/hadoop/Dockerfile	`linux/amd64`, `linux/arm64`	Apache Hadoop 3.6.6，基于 `x86-64` 架构的 https://hub.docker.com/_/amazoncorretto 或 `arm64` 架构的 https://hub.docker.com/r/bellsoft/liberica-openjdk-centos
https://github.com/neshkeev/containers/blob/master/hadoop/Dockerfile	`linux/amd64`	Apache Hadoop 3.6.6，基于 `x86-64` 架构的 https://hub.docker.com/_/amazoncorretto 或 `arm64` 架构的 https://hub.docker.com/r/bellsoft/liberica-openjdk-centos
https://github.com/neshkeev/containers/blob/master/hadoop/Dockerfile	`linux/amd64`	Apache Hadoop 3.6.6，基于 `x86-64` 架构的 https://hub.docker.com/_/amazoncorretto 或 `arm64` 架构的 https://hub.docker.com/r/bellsoft/liberica-openjdk-centos
https://github.com/neshkeev/containers/blob/master/hadoop/Dockerfile	`linux/amd64`	Apache Hadoop 3.6.6，基于 `x86-64` 架构的 https://hub.docker.com/_/amazoncorretto
https://github.com/neshkeev/containers/blob/master/hadoop/Dockerfile	`linux/amd64`	Apache Hadoop 3.6.6，基于 `x86-64` 架构的 https://hub.docker.com/_/amazoncorretto

配置

配置 Hadoop 集群有两种可组合使用的方式：

挂载配置文件

可挂载已准备好的配置文件：

core-site.xml -> /opt/hadoop/etc/hadoop/core-site.xml
hdfs-site.xml -> /opt/hadoop/etc/hadoop/hdfs-site.xml
yarn-site.xml -> /opt/hadoop/etc/hadoop/yarn-site.xml
mapred-site.xml -> /opt/hadoop/etc/hadoop/mapred-site.xml
等等

环境变量

可通过环境变量修改现有配置文件。

要修改配置属性，需构造名称符合以下模式的环境变量：前缀 + 配置名称。

例如，fs.defaultFS 的值应存储在 CORE-SITE.XML_fs.defaultFS 环境变量中，如下所示：

CORE-SITE.XML_fs.defaultFS=hdfs://namenode:9000

前缀由配置所属的文件派生而来。可参考示例中的 https://github.com/neshkeev/containers/blob/master/hadoop/examples/simple/docker-compose.yml#L26 文件。

优先级

环境变量的值优先于挂载的配置文件。

示例

在单节点 Hadoop 集群上计算 Pi

下载 https://raw.githubusercontent.com/neshkeev/containers/master/hadoop/examples/simple/docker-compose.yml%EF%BC%9A

bash
curl -sSL https://raw.githubusercontent.com/neshkeev/containers/master/hadoop/examples/multi-node-cluster/docker-compose.yml > docker-compose.yml

启动 docker compose 服务：

bash
docker compose up

进入 hadoop docker compose 服务：

bash
docker compose exec -it hadoop bash

运行 Pi 计算任务：

bash
yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi 10 15

在 Web 界面查看工作负载：
- NameNode: http://localhost:9870/explorer.html
- ResourceManager: http://localhost:8088
退出 hadoop docker 容器：

exit

停止集群：

docker compose down

在多节点 Hadoop 集群上运行 Map Reduce 任务

运行 Hadoop 发行版默认包含的 grep 示例：

下载 https://raw.githubusercontent.com/neshkeev/containers/master/hadoop/examples/multi-node-cluster/docker-compose.yml%EF%BC%9A

bash
curl -sSL https://raw.githubusercontent.com/neshkeev/containers/master/hadoop/examples/multi-node-cluster/docker-compose.yml > docker-compose.yml

启动 docker compose 服务：

bash
docker compose up

等待所有服务变为 healthy：

bash
docker compose ps

进入 hadoop docker compose 服务：

bash
docker compose exec -it hadoop bash

创建执行 MapReduce 作业所需的用户目录：

bash
hdfs dfs -mkdir -p /user/hadoop

bash
hdfs dfs -mkdir -p input

将输入文件复制到 HDFS：

bash
hdfs dfs -put -f /opt/hadoop/etc/hadoop/*.xml input

启动 Map Reduce 作业：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

在 Web 界面查看工作负载：
- NameNode: http://localhost:9870/explorer.html
- ResourceManager: http://localhost:8088
查看结果：

bash
hdfs dfs -cat output/*

将结果复制到本地文件系统：

bash
hdfs dfs -get output ~/output

分析结果：

bash
find ~/output

删除结果：

hdfs dfs -rm -r output

退出 resourcemanager docker 容器：

exit

停止集群：

docker compose down

通过 JMX 连接 Hadoop 服务

启动 Hadoop 集群：

bash
curl -sSL https://raw.githubusercontent.com/neshkeev/containers/master/hadoop/examples/jmx/docker-compose.yml > docker-compose.yml
docker compose up -d

打开 jconsole（或 visualvm）：

bash
jconsole

创建远程 JMX 连接：
- NameNode: localhost:59870
- DataNode: localhost:59864
- ResourceManager: localhost:58088
- NodeManager: localhost:58042
- HistoryServer: localhost:59888

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问标签列表页面。

轩辕镜像加速拉取命令点我查看更多 hadoop 镜像标签

docker pull docker.xuanyuan.run/neshkeev/hadoop:<标签>

使用方法：

DockerHub 原生拉取命令

docker pull neshkeev/hadoop:<标签>

轩辕镜像配置手册

按平台快速找到配置文档

一键安装

一键安装 Docker

Linux Docker 一键安装

AI

用 AI 使用轩辕镜像

agents.md · AI 对话 · 提示词

Docker

登录仓库拉取

登录认证 · 私有仓库

专属域名拉取

免登录 · 高速拉取

Linux

Docker 镜像配置

Windows / Mac

Docker Desktop 配置

MacOS OrbStack

OrbStack 容器

Apple Container

macOS 原生容器

Docker Compose

Compose 项目配置

NAS

群晖

Synology 配置

飞牛

fnOS 镜像配置

绿联

绿联 NAS

威联通

QNAP 配置

极空间

极空间 NAS

Unraid

Unraid NAS

企业仓库

其他仓库

ghcr · Quay · nvcr

Harbor 镜像源

Proxy Repository 对接

Portainer 镜像源

Registries 配置

Nexus 镜像源

Docker Proxy 缓存

开发工具

Dev Containers

VS Code 开发容器

Podman

Podman 配置指南

Singularity / Apptainer

HPC 科学计算容器

Kubernetes

K8s Containerd

Kubernetes · Containerd

K3s

轻量级集群

面板 / 网络

爱快路由

iKuai 镜像加速

宝塔面板

一键配置镜像源

需要其他帮助？请查看我们的常见问题Docker 镜像访问常见问题解答或提交工单

镜像拉取常见问题

功能

版本功能对比

功能对比 · 版本选择

支持的镜像仓库

Docker Hub · GCR · GHCR

新手拉取配置

docker search 限制

专属域名 · Hub 搜索

不支持 push

仅支持 pull · 不支持

拉取速度原因

带宽 · 缓存 · 冷热镜像

错误码

402 与流量用尽

402 · 流量包 · 充值

401 认证失败

401 · docker login

manifest unknown

标签错误 · 镜像不存在

410 Gone 排查

410 · Docker 升级

429 限流

免费版 · 专业版 · 企业版 · 请求频率

其他报错

DNS 超时

DNS 解析 · 网络超时

TLS 证书失败

no matching manifest（架构）

账号

失败是否计费

manifest · blob · 计费

申请开发票（企业 / 个人）

企业 · 个人 · 工单

修改登录密码

网站 · 仓库 · 重置

注销账户

工单 · 数据 · 注销

原理

mirrors 不生效

daemon.json · 重启

去掉域名前缀

docker tag · 重命名

指定架构拉取

ARM64 · AMD64 · 多架构

latest 与「最新」

digest · 版本号 · 标签

查看全部问题→

用户好评

来自真实用户的反馈，见证轩辕镜像的优质服务

oldzhang

运维工程师

Linux服务器

"Docker访问体验非常流畅，大镜像也能快速完成下载。"