hadoop

5200710/hadoop Docker 镜像

基于Hadoop官网单节点教程构建的伪分布式Docker镜像,适用于Hadoop学习练习,支持直接启动或通过docker-compose部署,提供HDFS文件系统和YARN资源管理功能及Web管理界面。

下载次数: 0状态:社区镜像维护者:5200710仓库类型:镜像最近更新:
下载命令
点击查看

Hadoop伪分布式Docker镜像

镜像概述和主要用途

本镜像基于Hadoop官网单节点集群搭建教程构建,提供伪分布式Hadoop环境,适用于Hadoop初学者进行学习和练习。无需复杂配置即可快速部署单节点Hadoop集群,支持HDFS文件系统和YARN资源管理功能。

核心功能和特性

  • 伪分布式模式:模拟分布式环境,包含Namenode、Datanode、ResourceManager、NodeManager等核心组件
  • 完整组件:集成HDFS和YARN,支持基本的MapReduce作业运行
  • Web管理界面:提供Namenode和ResourceManager的Web监控界面
  • 便捷部署:支持通过docker run直接启动或docker-compose编排部署

使用场景和适用范围

  • Hadoop初学者学习和实践HDFS操作
  • 开发和测试简单的MapReduce程序
  • 熟悉YARN资源管理器的基本使用
  • 快速搭建单节点Hadoop实验环境

详细使用方法和配置说明

1. 直接启动

使用docker run命令直接启动容器:

bash
docker run -it -p 8088:8088 -p 9000:9000 -p 8042:8042 -p 9870:9870 docker.xuanyuan.run/5200710/hadoop:3.3.5-pseudo bash

2. 通过Docker Compose启动

创建docker-compose.yml文件:

yaml
version: "3"
services:
  hadoop:
    image: docker.xuanyuan.run/5200710/hadoop:3.3.5-pseudo
    ports:
      - 8088:8088  # YARN ResourceManager Web端口
      - 9000:9000  # HDFS默认文件系统端口
      - 9870:9870  # HDFS Namenode Web端口
      - 9864:9864  # DataNode HTTP端口(用于Web界面文件上传)

启动服务:

bash
docker-compose up -d

3. 进入容器

启动后通过以下命令进入容器:

bash
docker exec -it `docker ps -l -q` su hadoop

4. 验证服务状态

在容器内使用jps命令查看Hadoop进程状态:

bash
jps

正常输出应包含以下进程:

272 NameNode
409 DataNode
681 SecondaryNameNode
1131 ResourceManager
1282 NodeManager

5. 访问Web界面

容器启动后,可在宿主机通过以下地址访问Web界面:

  • YARN ResourceManager Web界面:http://localhost:8088
  • HDFS Namenode Web界面:http://localhost:9870

6. 端口说明

端口用途
8088YARN ResourceManager Web界面
9000HDFS默认文件系统端口(hdfs://localhost:9000)
9870HDFS Namenode Web界面
9864DataNode HTTP端口(用于Web界面文件上传)

注意事项

  • 通过Namenode Web界面上传文件到HDFS时,需确保映射9864端口
  • 如需宿主机通过域名访问DataNode的HTTPS端口,需在宿主机设置容器域名映射

参考资料

  1. https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
  2. https://blog.csdn.net/qq_43771096/article/details/***
  3. https://github.com/big-data-europe/docker-hadoop

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 hadoop 镜像标签

docker pull docker.xuanyuan.run/5200710/hadoop:<标签>

DockerHub 原生拉取命令

docker pull 5200710/hadoop:<标签>
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告