infotechsoft/hadoop Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务
infotechsoft/hadoopinfotechsoft
用于搭建基础Hadoop集群的Docker镜像，包含HDFS（namenode、datanode）、YARN（resourcemanager、nodemanager）和Spark submitter组件，基于统一基础镜像，支持通过环境变量配置Hadoop。
下载次数: 0状态：社区镜像维护者：infotechsoft仓库类型：镜像最近更新：7 年前
Hadoop Docker镜像文档
镜像概述和主要用途
本镜像提供用于搭建基础Hadoop集群的Dockerfile集合，包含HDFS（namenode、datanode）、YARN（resourcemanager、nodemanager）和Spark submitter组件。所有镜像均继承自hadoop基础镜像，该基础镜像在/opt/目录提供Hadoop安装，并支持通过环境变量配置Hadoop。
核心功能和特性
- 组件完整：包含HDFS（namenode、datanode）、YARN（resourcemanager、nodemanager）和Spark submitter核心组件
- 环境变量配置：通过环境变量灵活配置Hadoop各组件的XML配置文件
- 网络适配：支持多网络环境配置，解决跨网络访问问题
- 监控集成：可配置向Ganglia发送 metrics 数据
- 持久化存储：关键数据目录支持卷挂载，确保数据持久化
Hadoop配置
Hadoop配置通过以下环境变量组控制，分别对应不同的XML配置文件：
CORE_CONF：影响/etc/hadoop/core-site.xmlHDFS_CONF：影响/etc/hadoop/hdfs-site.xmlYARN_CONF：影响/etc/hadoop/yarn-site.xmlHTTPFS_CONF：影响/etc/hadoop/httpfs-site.xmlKMS_CONF：影响/etc/hadoop/KMS-site.xml
环境变量命名规则
由于Docker和docker-compose对环境变量名称的限制，属性名需进行如下替换：
_替换为.__替换为____替换为-
配置示例
CORE_CONF_fs_defaultFS：设置core-site.xml中的fs.defaultFS属性YARN_CONF_yarn_log___aggregation___enable：设置yarn-site.xml中的yarn.log-aggregation-enable属性
Hadoop配置预设
以下特殊环境变量用于控制配置预设：
MULTIHOMED_NETWORK
配置Hadoop集群以支持多网络访问，会自动设置以下属性：
hdfs-site.xml：
- dfs.namenode.rpc-bind-host = 0.0.0.0
- dfs.namenode.servicerpc-bind-host = 0.0.0.0
- dfs.namenode.http-bind-host = 0.0.0.0
- dfs.namenode.https-bind-host = 0.0.0.0
- dfs.client.use.datanode.hostname = true
- dfs.datanode.use.datanode.hostname = true
yarn-site.xml：
- yarn.resourcemanager.bind-host = 0.0.0.0
- yarn.nodemanager.bind-host = 0.0.0.0
mapred-site.xml：
- yarn.nodemanager.bind-host = 0.0.0.0
GANGLIA_HOST
指定Ganglia gmond守护进程地址，使Hadoop向其发送metrics数据（需Ganglia采用单播配置）。
网络配置建议
为确保集群正常运行，建议：
- 使用Docker 1.9+的网络功能，为集群创建专用网络
- 将容器名称和主机名设置为相同值，确保容器间可相互解析
- 将域名设置为网络名称，并使用FQDN引用各服务
以上配置可避免Web界面链接无法解析的问题（需配置DNS解析容器名称，使用docker-machine时需配置静态路由）。
组件说明
namenode
Hadoop namenode镜像，启动HDFS名称节点（单实例）。
额外环境变量
CLUSTER_NAME：HDFS集群名称（初始化格式化时使用）
卷
/hadoop/dfs/name：HDFS文件系统名称目录
必要配置
CLUSTER_NAME：集群名称
Docker-compose模板
yamlnamenode: image: uhopper/hadoop-namenode hostname: namenode container_name: namenode domainname: hadoop net: hadoop volumes: - <NAMENODE-VOLUME>:/hadoop/dfs/name environment: - GANGLIA_HOST=<GMOND-RECEIVER-HOST> - CLUSTER_NAME=<CLUSTER-NAME>
启动后可通过http://<CONTAINER_IP>:50070访问Web界面。
datanode
Hadoop datanode镜像，启动HDFS数据节点（多实例）。
卷
/hadoop/dfs/data：HDFS文件系统数据目录
必要配置
CORE_CONF_fs_defaultFS：HDFS地址（如hdfs://<NAMENODE-HOST>:8020）
Docker-compose模板
yamldatanode1: image: uhopper/hadoop-datanode hostname: datanode1 container_name: datanode1 domainname: hadoop net: hadoop volumes: - <DATANODE-VOLUME>:/hadoop/dfs/data environment: - GANGLIA_HOST=<GMOND-RECEIVER-HOST> - CORE_CONF_fs_defaultFS=hdfs://<NAMENODE-HOST>:8020
resourcemanager
Hadoop resourcemanager镜像，启动YARN资源管理器（单实例）。
必要配置
CORE_CONF_fs_defaultFS：HDFS地址（如hdfs://<NAMENODE-HOST>:8020）
Docker-compose模板
yamlresourcemanager: image: uhopper/hadoop-resourcemanager hostname: resourcemanager container_name: resourcemanager domainname: hadoop net: hadoop environment: - GANGLIA_HOST=<GMOND-RECEIVER-HOST> - CORE_CONF_fs_defaultFS=hdfs://<NAMENODE-HOST>:8020 - YARN_CONF_yarn_log___aggregation___enable=true
启动后可通过http://<CONTAINER_IP>:8088访问Web界面。
nodemanager
Hadoop nodemanager镜像，启动YARN节点管理器（多实例）。
必要配置
CORE_CONF_fs_defaultFS：HDFS地址（如hdfs://<NAMENODE-HOST>:8020）YARN_CONF_yarn_resourcemanager_hostname：resourcemanager主机名
Docker-compose模板
yamlnodemanager1: image: uhopper/hadoop-nodemanager hostname: nodemanager1 container_name: nodemanager1 domainname: hadoop net: hadoop environment: - GANGLIA_HOST=<GMOND-RECEIVER-HOST> - CORE_CONF_fs_defaultFS=hdfs://<NAMENODE-HOST>:8020 - YARN_CONF_yarn_resourcemanager_hostname=<RESOURCEMANAGER-HOST> - YARN_CONF_yarn_log___aggregation___enable=true - YARN_CONF_yarn_nodemanager_remote___app___log___dir=/app-logs
spark
Hadoop-spark镜像，提供配置好的Spark环境，用于Hadoop集群（工具容器，不暴露服务）。
需通过docker run uhopper/hadoop-spark <command>指定命令。常用方式是使用tail -f /var/log/dmesg保持容器运行，然后通过docker exec -ti spark bash进入容器使用Spark环境。
必要配置
CORE_CONF_fs_defaultFS：HDFS地址（如hdfs://<NAMENODE-HOST>:8020）YARN_CONF_yarn_resourcemanager_hostname：resourcemanager主机名
Docker-compose模板
yamlspark: image: uhopper/hadoop-spark hostname: spark container_name: spark domainname: hadoop net: hadoop environment: - CORE_CONF_fs_defaultFS=hdfs://namenode:8020 - YARN_CONF_yarn_resourcemanager_hostname=resourcemanager command: tail -f /var/log/dmesg
apache/hadoop
Apache 软件基金会镜像
Apache Hadoop便捷构建版本是Apache软件基金会推出的预编译分布式计算框架构建包，集成HDFS分布式文件系统、YARN资源管理器及MapReduce计算模型等核心组件，无需复杂编译配置即可快速搭建运行环境，适用于处理大规模数据集的分布式存储与并行计算任务，满足开发、测试及中小型生产环境的便捷使用需求。
127 次收藏50万+ 次下载
12 天前更新
openeuler/hadoop
openeuler
官方Hadoop Docker镜像，基于openEuler构建，支持分布式处理大型数据集，提供Web UI访问，适用于大数据处理场景。
1 次收藏984 次下载
8 个月前更新
flokkr/hadoop
flokkr
具备高级配置处理能力的Apache Hadoop容器，支持多种配置加载机制和扩展插件，适用于快速部署和管理Hadoop集群。
1 次收藏50万+ 次下载
4 年前更新
danisla/hadoop
danisla
Hadoop image built with native libraries
2 次收藏50万+ 次下载
8 年前更新
harisekhon/hadoop
harisekhon
Apache Hadoop 是大数据分布式存储和计算软件，集成HDFS分布式存储与Yarn分布式处理框架，默认在单个容器中启动包含4个守护进程的伪分布式集群，适合开发和测试环境。
73 次收藏10万+ 次下载
6 年前更新
kiwenlau/hadoop
kiwenlau
在Docker容器中运行Hadoop集群的镜像，用于快速部署和管理分布式Hadoop环境，简化Hadoop集群的搭建流程。
26 次收藏5万+ 次下载
9 年前更新
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
错误码与失败问题
manifest unknown 错误：镜像不存在或标签错误
manifest unknown 错误
TLS/SSL 证书验证失败：Docker pull 时 HTTPS 证书错误
TLS 证书验证失败
DNS 解析超时：无法解析镜像仓库地址或连接超时
DNS 解析超时
410 Gone 错误：Docker 版本过低导致协议不兼容
410 错误：版本过低
402 Payment Required 错误：流量耗尽错误提示
402 错误：流量耗尽
401 UNAUTHORIZED 错误：身份认证失败或登录信息错误
身份认证失败错误
429 Too Many Requests 错误：请求频率超出专业版限制
429 限流错误
Docker login 凭证保存错误：Cannot autolaunch D-Bus（不影响登录）
凭证保存错误
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"