hadoop

kiwenlau/hadoop Docker 镜像

在Docker容器中运行Hadoop集群的镜像,用于快速部署和管理分布式Hadoop环境,简化Hadoop集群的搭建流程。

27 次收藏下载次数: 0状态:社区镜像维护者:kiwenlau仓库类型:镜像最近更新:
下载命令
点击查看

hadoop-cluster-docker 镜像文档

镜像概述和主要用途

hadoop-cluster-docker是一个用于在Docker容器中部署Hadoop集群的镜像,基于GitHub项目https://github.com/kiwenlau/hadoop-cluster-docker开发。该镜像旨在简化Hadoop集群的搭建过程,无需手动配置复杂的分布式环境,可快速创建包含主节点(NameNode、ResourceManager)和从节点(DataNode、NodeManager)的完整Hadoop集群,适用于Hadoop学习、开发测试及小型分布式计算场景。

核心功能和特性

  • 容器化部署:通过Docker容器实现Hadoop集群的隔离部署,避免环境依赖冲突
  • 完整集群架构:支持多节点集群,包含HDFS(分布式文件系统)和YARN(资源管理器)组件
  • 快速启停:无需手动配置SSH免密、环境变量等,通过脚本一键启动/停止集群
  • 可扩展性:支持灵活调整集群节点数量,满足不同规模的计算需求
  • 轻量级:基于精简基础镜像,降低资源占用

使用场景和适用范围

  • 学习环境:帮助开发者快速搭建Hadoop学习环境,了解分布式计算原理
  • 开发测试:为Hadoop应用开发提供本地测试环境,验证MapReduce作业、Spark应用等
  • 教学演示:用于课堂或技术分享中展示Hadoop集群的部署和运行过程
  • 小型数据处理:适用于处理小规模数据集的分布式计算任务

使用方法和配置说明

前提条件

  • 已安装Docker和Docker Compose
  • 网络环境支持容器间通信

拉取镜像

可通过以下命令拉取镜像:

bash
docker pull docker.xuanyuan.run/kiwenlau/hadoop:2.7.2

获取项目文件

从GitHub克隆项目仓库,包含启动脚本和配置文件:

bash
git clone https://github.com/kiwenlau/hadoop-cluster-docker.git
cd hadoop-cluster-docker

启动集群

执行启动脚本创建并启动Hadoop集群容器(默认包含1个主节点和2个从节点):

bash
./start-container.sh

初始化HDFS并启动集群服务

进入主节点容器,执行初始化和启动命令:

bash
# 进入主节点容器
docker exec -it hadoop-master bash

# 初始化HDFS文件系统
hdfs namenode -format

# 启动Hadoop集群
./start-hadoop.sh

访问集群

  • HDFS Web界面:通过http://<主机IP>:50070访问NameNode管理界面
  • YARN Web界面:通过http://<主机IP>:8088访问ResourceManager管理界面
  • 容器内操作:通过docker exec -it hadoop-master bash进入主节点容器,执行Hadoop命令(如hdfs dfs -ls /、yarn jar <jar包> <主类> <参数>)

停止集群

在主机执行停止脚本:

bash
./stop-container.sh

Docker部署示例

docker-compose配置示例

项目中提供docker-compose.yml文件,可直接使用Docker Compose启动集群:

yaml
version: '2'
services:
  master:
    image: docker.xuanyuan.run/kiwenlau/hadoop:2.7.2
    container_name: hadoop-master
    ports:
      - "50070:50070"
      - "8088:8088"
    volumes:
      - ./hadoop-master:/root/hadoop-2.7.2
    networks:
      - hadoop-network
    command: /root/start-master.sh

  slave1:
    image: docker.xuanyuan.run/kiwenlau/hadoop:2.7.2
    container_name: hadoop-slave1
    volumes:
      - ./hadoop-slave1:/root/hadoop-2.7.2
    networks:
      - hadoop-network
    command: /root/start-slave.sh master

  slave2:
    image: docker.xuanyuan.run/kiwenlau/hadoop:2.7.2
    container_name: hadoop-slave2
    volumes:
      - ./hadoop-slave2:/root/hadoop-2.7.2
    networks:
      - hadoop-network
    command: /root/start-slave.sh master

networks:
  hadoop-network:
    driver: bridge

启动命令:

bash
docker-compose up -d

手动启动命令示例

手动创建网络并启动容器(以1主2从为例):

bash
# 创建自定义网络
docker network create hadoop-network

# 启动主节点
docker run -itd --name hadoop-master --network hadoop-network -p 50070:50070 -p 8088:8088 docker.xuanyuan.run/kiwenlau/hadoop:2.7.2 /bin/bash

# 启动从节点1
docker run -itd --name hadoop-slave1 --network hadoop-network docker.xuanyuan.run/kiwenlau/hadoop:2.7.2 /bin/bash

# 启动从节点2
docker run -itd --name hadoop-slave2 --network hadoop-network docker.xuanyuan.run/kiwenlau/hadoop:2.7.2 /bin/bash

配置参数说明

  • 节点数量调整:修改start-container.sh脚本中的N变量(默认值为2)可调整从节点数量
  • Hadoop配置文件:通过挂载本地目录到容器内/root/hadoop-2.7.2/etc/hadoop路径,自定义core-site.xml、hdfs-site.xml、yarn-site.xml等配置文件
  • 资源限制:启动容器时可通过-m参数限制内存使用(如-m 2g限制为2GB内存)
  • 端口映射:根据需要调整主机与容器的端口映射,避免端口冲突

更多详细配置和使用说明可参考项目GitHub文档或作者博客:Run Hadoop Cluster in Docker Update

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 hadoop 镜像标签

docker pull docker.xuanyuan.run/kiwenlau/hadoop:<标签>

DockerHub 原生拉取命令

docker pull kiwenlau/hadoop:<标签>
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告