5200710查看 Docker Hub 原文页
基于Hadoop官网单节点教程构建的伪分布式Docker镜像,适用于Hadoop学习练习,支持直接启动或通过docker-compose部署,提供HDFS文件系统和YARN资源管理功能及Web管理界面。
下载次数: 0状态:社区镜像维护者:5200710仓库类型:镜像最近更新:
Hadoop伪分布式Docker镜像
镜像概述和主要用途
本镜像基于Hadoop官网单节点集群搭建教程构建,提供伪分布式Hadoop环境,适用于Hadoop初学者进行学习和练习。无需复杂配置即可快速部署单节点Hadoop集群,支持HDFS文件系统和YARN资源管理功能。
核心功能和特性
- 伪分布式模式:模拟分布式环境,包含Namenode、Datanode、ResourceManager、NodeManager等核心组件
- 完整组件:集成HDFS和YARN,支持基本的MapReduce作业运行
- Web管理界面:提供Namenode和ResourceManager的Web监控界面
- 便捷部署:支持通过
docker run直接启动或docker-compose编排部署
使用场景和适用范围
- Hadoop初学者学习和实践HDFS操作
- 开发和测试简单的MapReduce程序
- 熟悉YARN资源管理器的基本使用
- 快速搭建单节点Hadoop实验环境
详细使用方法和配置说明
1. 直接启动
使用docker run命令直接启动容器:
bashdocker run -it -p 8088:8088 -p 9000:9000 -p 8042:8042 -p 9870:9870 docker.xuanyuan.run/5200710/hadoop:3.3.5-pseudo bash
2. 通过Docker Compose启动
创建docker-compose.yml文件:
yamlversion: "3" services: hadoop: image: docker.xuanyuan.run/5200710/hadoop:3.3.5-pseudo ports: - 8088:8088 # YARN ResourceManager Web端口 - 9000:9000 # HDFS默认文件系统端口 - 9870:9870 # HDFS Namenode Web端口 - 9864:9864 # DataNode HTTP端口(用于Web界面文件上传)
启动服务:
bashdocker-compose up -d
3. 进入容器
启动后通过以下命令进入容器:
bashdocker exec -it `docker ps -l -q` su hadoop
4. 验证服务状态
在容器内使用jps命令查看Hadoop进程状态:
bashjps
正常输出应包含以下进程:
272 NameNode 409 DataNode 681 SecondaryNameNode 1131 ResourceManager 1282 NodeManager
5. 访问Web界面
容器启动后,可在宿主机通过以下地址访问Web界面:
- YARN ResourceManager Web界面:http://localhost:8088
- HDFS Namenode Web界面:http://localhost:9870
6. 端口说明
| 端口 | 用途 |
|---|---|
| 8088 | YARN ResourceManager Web界面 |
| 9000 | HDFS默认文件系统端口(hdfs://localhost:9000) |
| 9870 | HDFS Namenode Web界面 |
| 9864 | DataNode HTTP端口(用于Web界面文件上传) |
注意事项
- 通过Namenode Web界面上传文件到HDFS时,需确保映射
9864端口 - 如需宿主机通过域名访问DataNode的HTTPS端口,需在宿主机设置容器域名映射
参考资料
- https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
- https://blog.csdn.net/qq_43771096/article/details/***
- https://github.com/big-data-europe/docker-hadoop
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull 5200710/hadoop:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务