专属域名
文档搜索
提交工单
轩辕助手
返回顶部
快速返回页面顶部
收起
收起工具栏
轩辕镜像
轩辕镜像专业版
个人中心搜索镜像
交易
充值流量我的订单
工具
提交工单镜像收录一键安装
Npm 源Pip 源
帮助
常见问题
其他
关于我们网站地图

官方QQ群: 13763429

轩辕镜像
镜像详情
...
mtsrus/hadoop
官方博客热门镜像提交工单
本站面向开发者与科研用户,提供开源镜像的搜索和下载加速服务。
所有镜像均来源于原始开源仓库,本站不存储、不修改、不传播任何镜像内容。
轩辕镜像 —— 国内开发者首选的专业 Docker 镜像加速平台。在线技术支持请优先 提交工单,技术交流欢迎加入官方QQ群:13763429 。
本站面向开发者与科研用户,提供开源镜像的搜索和下载加速服务。所有镜像均来源于原始开源仓库,本站不存储、不修改、不传播任何镜像内容。

hadoop Docker 镜像下载 - 轩辕镜像

hadoop 镜像详细信息和使用指南

hadoop 镜像标签列表和版本信息

hadoop 镜像拉取命令和加速下载

hadoop 镜像使用说明和配置指南

Docker 镜像加速服务 - 轩辕镜像平台

国内开发者首选的 Docker 镜像加速平台

极速拉取 Docker 镜像服务

相关 Docker 镜像推荐

热门 Docker 镜像下载

hadoop
mtsrus/hadoop

hadoop 镜像详细信息

hadoop 镜像标签列表

hadoop 镜像使用说明

hadoop 镜像拉取命令

Docker 镜像加速服务

轩辕镜像平台优势

镜像下载指南

相关 Docker 镜像推荐

包含Hadoop集群组件(HDFS、Yarn、Hive等)的Docker镜像,适用于测试环境,提供Hadoop 2和3版本,支持HDFS独立、Yarn及Hive集成配置,可自定义资源和参数。
5 收藏0 次下载activemtsrus镜像
🚀轩辕镜像专业版更稳定💎一键安装 Docker 配置镜像源
中文简介版本下载
🚀轩辕镜像专业版更稳定💎一键安装 Docker 配置镜像源

hadoop 镜像详细说明

hadoop 使用指南

hadoop 配置说明

hadoop 官方文档

Hadoop Docker镜像

仅用于测试目的!

镜像概述和主要用途

该Docker镜像提供包含Hadoop集群组件的一站式容器化解决方案,支持HDFS独立部署、Yarn资源管理及Hive数据仓库集成。主要用于测试环境,可快速搭建Hadoop相关服务,支持Hadoop 2和3两个版本系列,满足不同测试需求。

核心功能和特性

  • 多组件集成:根据配置不同,可包含HDFS(NameNode、Secondary NameNode、DataNode)、Yarn(ResourceManager、NodeManager)、MapReduce JobHistory Server及Hive(Hive Server、Metastore Server)等组件
  • 版本支持:提供Hadoop 2.x和3.x系列镜像,包含HDFS、Yarn、Hive等不同功能组合版本
  • 灵活配置:支持通过挂载配置文件、设置环境变量等方式自定义服务参数
  • 资源优化:针对测试场景优化资源需求,可根据组件类型调整CPU、内存配置

HDFS

版本

  • mtsrus/hadoop:hadoop2.7.3-hdfs

  • mtsrus/hadoop:hadoop2-hdfs - 与上述版本相同

  • mtsrus/hadoop:hadoop3.3.6-hdfs

  • mtsrus/hadoop:hadoop3-hdfs - 与上述版本相同

前提条件

最小资源要求:

  • 200m CPU
  • 700Mb 内存
  • 1Gb 存储空间

示例

详见docker-compose.yml

端口号

注意:Hadoop 2镜像与Hadoop 3使用相同端口号:

  • 9820:9820 - HDFS IPC
  • 9870:9870 - WebHDFS

配置

/var/hadoop/conf/*.xml 文件

默认配置
  • /var/hadoop/conf/core-site.xml
  • /var/hadoop/conf/hdfs-site.xml

可通过将自定义配置文件挂载到容器内/var/hadoop/conf目录来覆盖默认Hadoop配置。

替代变量

以下变量会被替换为实际值:

  • {{hostname}} - 当前主机名

容器环境变量

  • WAIT_TIMEOUT_SECONDS=120 - 启动每个服务后检查存活状态的超时时间(秒)

/var/hadoop/conf/hadoop-env.sh 环境变量

默认值
  • export HADOOP_HEAPSIZE=512 - 所有Hadoop组件的最大JVM内存(MB),如无单独配置则应用此值

若容器因OutOfMemory失败,应增加此值,例如设为1024或2048。

服务专用变量
  • export HADOOP_NAMENODE_OPTS=-Xmx2048m - NameNode的最大JVM内存
  • export HADOOP_SECONDARYNAMENODE_OPTS=-Xmx2048m - Secondary NameNode的最大JVM内存
  • export HADOOP_DATANODE_OPTS=-Xmx1024m - DataNode的最大JVM内存

参考:[***]

Yarn

版本

  • mtsrus/hadoop:hadoop2.7.3-yarn

  • mtsrus/hadoop:hadoop2-yarn - 与上述版本相同

  • mtsrus/hadoop:hadoop3.3.6-yarn

  • mtsrus/hadoop:hadoop3-yarn - 与上述版本相同

前提条件

最小资源要求:

  • 400m CPU
  • 1Gb 内存
  • 1Gb 存储空间

示例

详见docker-compose.yml

端口号

注意:Hadoop 2镜像与Hadoop 3使用相同端口号:

  • 9820:9820 - HDFS IPC
  • 9870:9870 - HDFS WebHDFS
  • 8042:8042 - NodeManager UI
  • 8088:8088 - Yarn UI

若WITH_JOBHISTORY_SERVER=true:

  • ***:*** - MapReduce JobServer
  • ***:*** - MapReduce JobServer History

配置

/var/hadoop/conf/*.xml 文件

默认配置
  • /var/hadoop/conf/core-site.xml
  • /var/hadoop/conf/hdfs-site.xml
  • /var/hadoop/conf/yarn-site.xml
  • /var/hadoop/conf/capacity-scheduler.xml
  • /var/hadoop/conf/mapred-site.xml

可通过将自定义配置文件挂载到容器内/var/hadoop/conf目录来覆盖默认Hadoop配置。

替代变量

以下变量会被替换为实际值:

  • {{hostname}} - 当前主机名

容器环境变量

  • WAIT_TIMEOUT_SECONDS=120 - 启动每个服务后检查存活状态的超时时间(秒)
  • WITH_JOBHISTORY_SERVER=false - 设置为true以启动MapReduce JobHistory服务器

/var/hadoop/conf/hadoop-env.sh 环境变量

参见HDFS镜像文档。

/var/hadoop/conf/yarn-env.sh 环境变量

  • export YARN_RESOURCEMANAGER_OPTS=-Xmx1024m - Yarn ResourceManager的最大JVM内存
  • export YARN_NODEMANAGER_OPTS=-Xmx1024m - NodeManager的最大JVM内存
  • export HADOOP_JOB_HISTORYSERVER_OPTS=-Xmx1024m - MapReduce JobHistory服务器的最大JVM内存

参考:[***]

Hive

版本

  • mtsrus/hadoop:hadoop2.7.3-hive2.3.10

  • mtsrus/hadoop:hadoop2-hive - 与上述版本相同

  • mtsrus/hadoop:hadoop3.3.6-hive3.1.3

  • mtsrus/hadoop:hadoop3-hive - 与上述版本相同

前提条件

最小资源要求:

  • 500m CPU
  • 2Gb 内存
  • 1Gb 存储空间
  • 运行中的关系型数据库(如Postgres)实例,用于Metastore存储

示例

详见docker-compose.yml

端口号

注意:Hadoop 2镜像与Hadoop 3使用相同端口号:

  • 9820:9820 - HDFS IPC
  • 9870:9870 - HDFS WebHDFS

若WITH_HIVE_SERVER=true:

  • 8042:8042 - NodeManager UI
  • 8088:8088 - Yarn UI
  • ***:*** - MapReduce JobServer History
  • ***:*** - Hive服务器
  • ***:*** - Hive管理UI

若WITH_HIVE_METASTORE_SERVER=true:

  • 9083:9083 - Hive Metastore服务器

配置

/var/hive/conf/*.xml 和 var/hadoop/conf/*.xml 文件

默认配置
  • /var/hadoop/conf/hive-site.xml

可通过将自定义配置文件挂载到容器内/var/hive/conf目录来覆盖默认Hive配置。HDFS和Yarn配置仍可通过var/hadoop/conf目录传递。

替代变量

以下变量会被替换为实际值:

  • {{hostname}} - 当前主机名
  • {{HIVE_METASTORE_DB_URL}} - HIVE_METASTORE_DB_URL环境变量(默认jdbc:postgresql://postgres:5432/metastore)
  • {{HIVE_METASTORE_DB_DRIVER}} - HIVE_METASTORE_DB_DRIVER环境变量(默认org.postgresql.Driver)
  • {{HIVE_METASTORE_DB_USER}} - HIVE_METASTORE_DB_USER环境变量(默认hive)
  • {{HIVE_METASTORE_DB_PASSWORD}} - HIVE_METASTORE_DB_PASSWORD环境变量(默认hive)

Metastore数据库

Hive使用{{HIVE_METASTORE_DB_DRIVER}}指定的驱动将元数据存储在{{HIVE_METASTORE_DB_URL}}中。默认使用Postgres。

可通过设置上述环境变量更改URL组件,或通过更新/var/hive/conf/hive-site.xml文件替换整个URL。

也可使用其他支持的关系型数据库(如MySQL),方法是更改连接URL并将JDBC驱动嵌入/挂载到容器内/opt/hive/lib/drivername.jar路径。Postgres JDBC驱动已嵌入镜像中。

容器环境变量

  • WAIT_TIMEOUT_SECONDS=120 - 启动每个服务后检查存活状态的超时时间(秒)
  • WITH_HIVE_SERVER=true - 设置为false以禁用Hive服务器
  • WITH_HIVE_METASTORE_SERVER=true - 设置为false以禁用Hive Metastore服务器

/var/hadoop/conf/hadoop-env.sh 环境变量

参见HDFS镜像文档。

/var/hadoop/conf/yarn-env.sh 环境变量

参见Yarn镜像文档。

/var/hive/conf/hive-env.sh 环境变量

  • export HIVE_SERVER2_HEAPSIZE=256 - Hive服务器的最大JVM内存(MB)
  • export HIVE_METASTORE_HEAPSIZE=256 - Hive Metastore服务器的最大JVM内存(MB)

参考:[***]

查看更多 hadoop 相关镜像 →
apache/hadoop logo
apache/hadoop
by The Apache Software Foundation
Apache Hadoop便捷构建版本是Apache软件基金会推出的预编译分布式计算框架构建包,集成HDFS分布式文件系统、YARN资源管理器及MapReduce计算模型等核心组件,无需复杂编译配置即可快速搭建运行环境,适用于处理大规模数据集的分布式存储与并行计算任务,满足开发、测试及中小型生产环境的便捷使用需求。
124500K+ pulls
上次更新:1 年前

用户好评

来自真实用户的反馈,见证轩辕镜像的优质服务

oldzhang的头像

oldzhang

运维工程师

Linux服务器

5

"Docker加速体验非常流畅,大镜像也能快速完成下载。"

用户评价详情

oldzhang - 运维工程师

Linux服务器

5

Docker加速体验非常流畅,大镜像也能快速完成下载。

Nana - 后端开发

Mac桌面

4.9

配置Docker镜像源后,拉取速度快了数倍,开发体验提升明显。

Qiang - 平台研发

K8s集群

5

轩辕镜像在K8s集群中表现很稳定,容器部署速度明显加快。

小敏 - 测试工程师

Windows桌面

4.8

Docker镜像下载不再超时,测试环境搭建更加高效。

晨曦 - DevOps工程师

宝塔面板

5

配置简单,Docker镜像源稳定,适合快速部署环境。

阿峰 - 资深开发

群晖NAS

5

在群晖NAS上配置后,镜像下载速度飞快,非常适合家庭实验环境。

俊仔 - 后端工程师

飞牛NAS

4.9

Docker加速让容器搭建顺畅无比,再也不用等待漫长的下载。

Lily - 测试经理

Linux服务器

4.8

镜像源覆盖面广,更新及时,团队一致反馈体验不错。

浩子 - 云平台工程师

Podman容器

5

使用轩辕镜像后,Podman拉取镜像稳定无比,生产环境可靠。

Kai - 运维主管

爱快路由

5

爱快系统下配置加速服务,Docker镜像拉取速度提升非常大。

翔子 - 安全工程师

Linux服务器

4.9

镜像源稳定性高,安全合规,Docker拉取无忧。

亮哥 - 架构师

K8s containerd

5

大规模K8s集群下镜像加速效果显著,节省了大量时间。

慧慧 - 平台开发

Docker Compose

4.9

配置Compose镜像加速后,整体构建速度更快了。

Tina - 技术支持

Windows桌面

4.8

配置简单,镜像拉取稳定,适合日常开发环境。

宇哥 - DevOps Leader

极空间NAS

5

在极空间NAS上使用Docker加速,体验流畅稳定。

小静 - 数据工程师

Linux服务器

4.9

Docker镜像源下载速度快,大数据环境搭建轻松完成。

磊子 - SRE

宝塔面板

5

使用轩辕镜像后,CI/CD流程整体快了很多,值得推荐。

阿Yang - 前端开发

Mac桌面

4.9

国内网络环境下,Docker加速非常给力,前端环境轻松搭建。

Docker迷 - 架构师

威联通NAS

5

威联通NAS下配置镜像加速后,Docker体验比官方源好很多。

方宇 - 系统工程师

绿联NAS

5

绿联NAS支持加速配置,Docker镜像下载快且稳定。

常见问题

Q1:轩辕镜像免费版与专业版有什么区别?

免费版仅支持 Docker Hub 加速,不承诺可用性和速度;专业版支持更多镜像源,保证可用性和稳定速度,提供优先客服响应。

Q2:轩辕镜像免费版与专业版有分别支持哪些镜像?

免费版仅支持 docker.io;专业版支持 docker.io、gcr.io、ghcr.io、registry.k8s.io、nvcr.io、quay.io、mcr.microsoft.com、docker.elastic.co 等。

Q3:流量耗尽错误提示

当返回 402 Payment Required 错误时,表示流量已耗尽,需要充值流量包以恢复服务。

Q4:410 错误问题

通常由 Docker 版本过低导致,需要升级到 20.x 或更高版本以支持 V2 协议。

Q5:manifest unknown 错误

先检查 Docker 版本,版本过低则升级;版本正常则验证镜像信息是否正确。

Q6:镜像拉取成功后,如何去掉轩辕镜像域名前缀?

使用 docker tag 命令为镜像打上新标签,去掉域名前缀,使镜像名称更简洁。

查看全部问题→

轩辕镜像下载加速使用手册

探索更多轩辕镜像的使用方法,找到最适合您系统的配置方式

登录仓库拉取

通过 Docker 登录认证访问私有仓库

Linux

在 Linux 系统配置镜像加速服务

Windows/Mac

在 Docker Desktop 配置镜像加速

Docker Compose

Docker Compose 项目配置加速

K8s Containerd

Kubernetes 集群配置 Containerd

宝塔面板

在宝塔面板一键配置镜像加速

群晖

Synology 群晖 NAS 配置加速

飞牛

飞牛 fnOS 系统配置镜像加速

极空间

极空间 NAS 系统配置加速服务

爱快路由

爱快 iKuai 路由系统配置加速

绿联

绿联 NAS 系统配置镜像加速

威联通

QNAP 威联通 NAS 配置加速

Podman

Podman 容器引擎配置加速

Singularity/Apptainer

HPC 科学计算容器配置加速

其他仓库配置

ghcr、Quay、nvcr 等镜像仓库

专属域名拉取

无需登录使用专属域名加速

需要其他帮助?请查看我们的 常见问题 或 官方QQ群: 13763429

商务:17300950906
©2024-2025 源码跳动
商务合作电话:17300950906Copyright © 2024-2025 杭州源码跳动科技有限公司. All rights reserved.