仅用于测试目的!
该Docker镜像提供包含Hadoop集群组件的一站式容器化解决方案,支持HDFS独立部署、Yarn资源管理及Hive数据仓库集成。主要用于测试环境,可快速搭建Hadoop相关服务,支持Hadoop 2和3两个版本系列,满足不同测试需求。
mtsrus/hadoop:hadoop2.7.3-hdfs
mtsrus/hadoop:hadoop2-hdfs - 与上述版本相同
mtsrus/hadoop:hadoop3.3.6-hdfs
mtsrus/hadoop:hadoop3-hdfs - 与上述版本相同
最小资源要求:
详见docker-compose.yml
注意:Hadoop 2镜像与Hadoop 3使用相同端口号:
9820:9820 - HDFS IPC9870:9870 - WebHDFS/var/hadoop/conf/*.xml 文件可通过将自定义配置文件挂载到容器内/var/hadoop/conf目录来覆盖默认Hadoop配置。
以下变量会被替换为实际值:
{{hostname}} - 当前主机名WAIT_TIMEOUT_SECONDS=120 - 启动每个服务后检查存活状态的超时时间(秒)/var/hadoop/conf/hadoop-env.sh 环境变量export HADOOP_HEAPSIZE=512 - 所有Hadoop组件的最大JVM内存(MB),如无单独配置则应用此值若容器因OutOfMemory失败,应增加此值,例如设为1024或2048。
export HADOOP_NAMENODE_OPTS=-Xmx2048m - NameNode的最大JVM内存export HADOOP_SECONDARYNAMENODE_OPTS=-Xmx2048m - Secondary NameNode的最大JVM内存export HADOOP_DATANODE_OPTS=-Xmx1024m - DataNode的最大JVM内存参考:[***]
mtsrus/hadoop:hadoop2.7.3-yarn
mtsrus/hadoop:hadoop2-yarn - 与上述版本相同
mtsrus/hadoop:hadoop3.3.6-yarn
mtsrus/hadoop:hadoop3-yarn - 与上述版本相同
最小资源要求:
详见docker-compose.yml
注意:Hadoop 2镜像与Hadoop 3使用相同端口号:
9820:9820 - HDFS IPC9870:9870 - HDFS WebHDFS8042:8042 - NodeManager UI8088:8088 - Yarn UI若WITH_JOBHISTORY_SERVER=true:
***:*** - MapReduce JobServer***:*** - MapReduce JobServer History/var/hadoop/conf/*.xml 文件可通过将自定义配置文件挂载到容器内/var/hadoop/conf目录来覆盖默认Hadoop配置。
以下变量会被替换为实际值:
{{hostname}} - 当前主机名WAIT_TIMEOUT_SECONDS=120 - 启动每个服务后检查存活状态的超时时间(秒)WITH_JOBHISTORY_SERVER=false - 设置为true以启动MapReduce JobHistory服务器/var/hadoop/conf/hadoop-env.sh 环境变量参见HDFS镜像文档。
/var/hadoop/conf/yarn-env.sh 环境变量export YARN_RESOURCEMANAGER_OPTS=-Xmx1024m - Yarn ResourceManager的最大JVM内存export YARN_NODEMANAGER_OPTS=-Xmx1024m - NodeManager的最大JVM内存export HADOOP_JOB_HISTORYSERVER_OPTS=-Xmx1024m - MapReduce JobHistory服务器的最大JVM内存参考:[***]
mtsrus/hadoop:hadoop2.7.3-hive2.3.10
mtsrus/hadoop:hadoop2-hive - 与上述版本相同
mtsrus/hadoop:hadoop3.3.6-hive3.1.3
mtsrus/hadoop:hadoop3-hive - 与上述版本相同
最小资源要求:
详见docker-compose.yml
注意:Hadoop 2镜像与Hadoop 3使用相同端口号:
9820:9820 - HDFS IPC9870:9870 - HDFS WebHDFS若WITH_HIVE_SERVER=true:
8042:8042 - NodeManager UI8088:8088 - Yarn UI***:*** - MapReduce JobServer History***:*** - Hive服务器***:*** - Hive管理UI若WITH_HIVE_METASTORE_SERVER=true:
9083:9083 - Hive Metastore服务器/var/hive/conf/*.xml 和 var/hadoop/conf/*.xml 文件可通过将自定义配置文件挂载到容器内/var/hive/conf目录来覆盖默认Hive配置。HDFS和Yarn配置仍可通过var/hadoop/conf目录传递。
以下变量会被替换为实际值:
{{hostname}} - 当前主机名{{HIVE_METASTORE_DB_URL}} - HIVE_METASTORE_DB_URL环境变量(默认jdbc:postgresql://postgres:5432/metastore){{HIVE_METASTORE_DB_DRIVER}} - HIVE_METASTORE_DB_DRIVER环境变量(默认org.postgresql.Driver){{HIVE_METASTORE_DB_USER}} - HIVE_METASTORE_DB_USER环境变量(默认hive){{HIVE_METASTORE_DB_PASSWORD}} - HIVE_METASTORE_DB_PASSWORD环境变量(默认hive)Hive使用{{HIVE_METASTORE_DB_DRIVER}}指定的驱动将元数据存储在{{HIVE_METASTORE_DB_URL}}中。默认使用Postgres。
可通过设置上述环境变量更改URL组件,或通过更新/var/hive/conf/hive-site.xml文件替换整个URL。
也可使用其他支持的关系型数据库(如MySQL),方法是更改连接URL并将JDBC驱动嵌入/挂载到容器内/opt/hive/lib/drivername.jar路径。Postgres JDBC驱动已嵌入镜像中。
WAIT_TIMEOUT_SECONDS=120 - 启动每个服务后检查存活状态的超时时间(秒)WITH_HIVE_SERVER=true - 设置为false以禁用Hive服务器WITH_HIVE_METASTORE_SERVER=true - 设置为false以禁用Hive Metastore服务器/var/hadoop/conf/hadoop-env.sh 环境变量参见HDFS镜像文档。
/var/hadoop/conf/yarn-env.sh 环境变量参见Yarn镜像文档。
/var/hive/conf/hive-env.sh 环境变量export HIVE_SERVER2_HEAPSIZE=256 - Hive服务器的最大JVM内存(MB)export HIVE_METASTORE_HEAPSIZE=256 - Hive Metastore服务器的最大JVM内存(MB)参考:[***]
来自真实用户的反馈,见证轩辕镜像的优质服务
免费版仅支持 Docker Hub 加速,不承诺可用性和速度;专业版支持更多镜像源,保证可用性和稳定速度,提供优先客服响应。
免费版仅支持 docker.io;专业版支持 docker.io、gcr.io、ghcr.io、registry.k8s.io、nvcr.io、quay.io、mcr.microsoft.com、docker.elastic.co 等。
当返回 402 Payment Required 错误时,表示流量已耗尽,需要充值流量包以恢复服务。
通常由 Docker 版本过低导致,需要升级到 20.x 或更高版本以支持 V2 协议。
先检查 Docker 版本,版本过低则升级;版本正常则验证镜像信息是否正确。
使用 docker tag 命令为镜像打上新标签,去掉域名前缀,使镜像名称更简洁。
探索更多轩辕镜像的使用方法,找到最适合您系统的配置方式
通过 Docker 登录认证访问私有仓库
在 Linux 系统配置镜像加速服务
在 Docker Desktop 配置镜像加速
Docker Compose 项目配置加速
Kubernetes 集群配置 Containerd
在宝塔面板一键配置镜像加速
Synology 群晖 NAS 配置加速
飞牛 fnOS 系统配置镜像加速
极空间 NAS 系统配置加速服务
爱快 iKuai 路由系统配置加速
绿联 NAS 系统配置镜像加速
QNAP 威联通 NAS 配置加速
Podman 容器引擎配置加速
HPC 科学计算容器配置加速
ghcr、Quay、nvcr 等镜像仓库
无需登录使用专属域名加速
需要其他帮助?请查看我们的 常见问题 或 官方QQ群: 13763429