热门搜索:
harisekhon/hadoop
自动构建
harisekhon
Apache Hadoop 是大数据分布式存储和计算软件，集成HDFS分布式存储与Yarn分布式处理框架，默认在单个容器中启动包含4个守护进程的伪分布式集群，适合开发和测试环境。
73 次收藏下载次数: 0状态：自动构建维护者：harisekhon仓库类型：镜像最近更新：6 年前
Apache Hadoop 镜像文档
镜像概述
Apache Hadoop 是一个开源的大数据分布式存储和计算软件，提供可靠、可扩展的分布式计算解决方案。该镜像集成HDFS（分布式文件系统）和Yarn（分布式处理框架），支持运行MapReduce、Spark等应用框架。默认情况下，镜像在单个容器中启动包含4个核心守护进程的伪分布式集群，便于快速搭建和使用。
核心功能和特性
核心组件
- Yarn 分布式处理框架
- ResourceManager：集群处理主节点（用于提交作业）
- NodeManager：集群处理工作节点
- HDFS 分布式文件系统
- NameNode：文件系统主节点
- DataNode：文件系统工作节点
主要特性
- 单个容器内运行完整伪分布式集群，包含4个核心守护进程
- 支持MapReduce、Spark等多种应用框架运行
- 适合快速搭建开发和测试环境
- 可扩展为完全分布式部署（每个容器运行单个守护进程）
- 推荐Docker分配4GB以上内存以保证集群稳定运行
使用场景和适用范围
- 开发环境：快速搭建Hadoop集群进行应用开发和调试
- 测试环境：验证基于Hadoop的应用功能和兼容性
- 学习场景：了解Hadoop架构及组件交互机制
注意：本镜像主要用于开发测试，生产环境建议采用完全分布式部署模式。
使用方法和配置说明
基本运行命令
启动包含所有组件的伪分布式集群，并暴露相关UI端口：
bashdocker run -ti -p 8042 -p 8088 -p 19888 -p 50070 -p 50075 harisekhon/hadoop
暴露端口说明：
- 8042：NodeManager UI
- 8088：ResourceManager UI
- ***：JobHistory UI
- 50070：NameNode UI
- 50075：DataNode UI
使用docker-compose启动
通过docker-compose配置启动：
bashdocker-compose up
快捷启动方式
若未使用docker-compose，可通过Makefile快捷启动：
bashmake run
相关资源
- 更多开源、大数据和NoSQL技术镜像：https://hub.docker.com/r/harisekhon
- 镜像源代码：https://github.com/HariSekhon/Dockerfiles/
更多相关 Docker 镜像与资源
以下是 harisekhon/hadoop 相关的常用 Docker 镜像，适用于 不同场景 等不同场景：
- apache/hadoop Docker 镜像说明（Apache Hadoop 大数据处理框架，适合分布式存储和计算）
- library/flink Docker 镜像说明（Apache Flink，流处理和批处理大数据引擎）
- bitnami/spark Docker 镜像说明（Apache Spark 大数据处理引擎，Bitnami 企业级配置）
- library/spark Docker 镜像说明（Apache Spark 大数据处理引擎，官方标准版本）
- apache/spark Docker 镜像说明（Apache Spark 大数据处理引擎，Apache 官方版本）
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull harisekhon/hadoop:<标签>
更多 hadoop 镜像推荐
apache/hadoop
Apache 软件基金会镜像
Apache Hadoop便捷构建版本是Apache软件基金会推出的预编译分布式计算框架构建包，集成HDFS分布式文件系统、YARN资源管理器及MapReduce计算模型等核心组件，无需复杂编译配置即可快速搭建运行环境，适用于处理大规模数据集的分布式存储与并行计算任务，满足开发、测试及中小型生产环境的便捷使用需求。
130 次收藏50万+ 次下载
8 天前更新
openeuler/hadoop
openeuler
官方Hadoop Docker镜像，基于openEuler构建，支持分布式处理大型数据集，提供Web UI访问，适用于大数据处理场景。
1 次收藏1.3千+ 次下载
10 个月前更新
flokkr/hadoop
flokkr
具备高级配置处理能力的Apache Hadoop容器，支持多种配置加载机制和扩展插件，适用于快速部署和管理Hadoop集群。
1 次收藏50万+ 次下载
4 年前更新
danisla/hadoop
danisla
Hadoop image built with native libraries
2 次收藏50万+ 次下载
8 年前更新
kiwenlau/hadoop
kiwenlau
在Docker容器中运行Hadoop集群的镜像，用于快速部署和管理分布式Hadoop环境，简化Hadoop集群的搭建流程。
26 次收藏10万+ 次下载
9 年前更新
tailtarget/hadoop
tailtarget
hadoop 2.7.2 image
1万+ 次下载
9 年前更新
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
配置了专属域名后，docker search 为什么会报错？
docker search 限制
Docker Hub 上有的镜像，为什么在轩辕镜像网站搜不到？
站内搜不到镜像
机器不能直连外网时，怎么用 docker save / load 迁镜像？
离线 save/load
docker pull 拉插件报错（plugin v1+json）怎么办？
插件要用 plugin install
WSL 里 Docker 拉镜像特别慢，怎么排查和优化？
WSL 拉取慢
轩辕镜像安全吗？如何用 digest 校验镜像没被篡改？
安全与 digest
第一次用轩辕镜像拉 Docker 镜像，要怎么登录和配置？
新手拉取配置
轩辕镜像合规吗？轩辕镜像的合规是怎么做的？
镜像合规机制
错误码与失败问题
docker pull 提示 manifest unknown 怎么办？
manifest unknown
docker pull 提示 no matching manifest 怎么办？
no matching manifest（架构）
镜像已拉取完成，却提示 invalid tar header 或 failed to register layer 怎么办？
invalid tar header（解压）
Docker pull 时 HTTPS / TLS 证书验证失败怎么办？
TLS 证书失败
Docker pull 时 DNS 解析超时或连不上仓库怎么办？
DNS 超时
docker 无法连接轩辕镜像域名怎么办？
域名连通性排查
Docker 拉取出现 410 Gone 怎么办？
410 Gone 排查
出现 402 或「流量用尽」提示怎么办？
402 与流量用尽
Docker 拉取提示 UNAUTHORIZED（401）怎么办？
401 认证失败
遇到 429 Too Many Requests（请求太频繁）怎么办？
429 限流
docker login 提示 Cannot autolaunch D-Bus，还算登录成功吗？
D-Bus 凭证提示
为什么会出现「单层超过 20GB」或 413，无法加速拉取？
413 与超大单层
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"