kiwenlau/hadoop

hadoop-cluster-docker 镜像文档

镜像概述和主要用途

hadoop-cluster-docker是一个用于在Docker容器中部署Hadoop集群的镜像，基于GitHub项目https://github.com/kiwenlau/hadoop-cluster-docker%E5%BC%80%E5%8F%91%E3%80%82%E8%AF%A5%E9%95%9C%E5%83%8F%E6%97%A8%E5%9C%A8%E7%AE%80%E5%8C%96Hadoop%E9%9B%86%E7%BE%A4%E7%9A%84%E6%90%AD%E5%BB%BA%E8%BF%87%E7%A8%8B%EF%BC%8C%E6%97%A0%E9%9C%80%E6%89%8B%E5%8A%A8%E9%85%8D%E7%BD%AE%E5%A4%8D%E6%9D%82%E7%9A%84%E5%88%86%E5%B8%83%E5%BC%8F%E7%8E%AF%E5%A2%83%EF%BC%8C%E5%8F%AF%E5%BF%AB%E9%80%9F%E5%88%9B%E5%BB%BA%E5%8C%85%E5%90%AB%E4%B8%BB%E8%8A%82%E7%82%B9%EF%BC%88NameNode%E3%80%81ResourceManager%EF%BC%89%E5%92%8C%E4%BB%8E%E8%8A%82%E7%82%B9%EF%BC%88DataNode%E3%80%81NodeManager%EF%BC%89%E7%9A%84%E5%AE%8C%E6%95%B4Hadoop%E9%9B%86%E7%BE%A4%EF%BC%8C%E9%80%82%E7%94%A8%E4%BA%8EHadoop%E5%AD%A6%E4%B9%A0%E3%80%81%E5%BC%80%E5%8F%91%E6%B5%8B%E8%AF%95%E5%8F%8A%E5%B0%8F%E5%9E%8B%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%A1%E7%AE%97%E5%9C%BA%E6%99%AF%E3%80%82

核心功能和特性

• 容器化部署：通过Docker容器实现Hadoop集群的隔离部署，避免环境依赖冲突
• 完整集群架构：支持多节点集群，包含HDFS（分布式文件系统）和YARN（资源管理器）组件
• 快速启停：无需手动配置SSH免密、环境变量等，通过脚本一键启动/停止集群
• 可扩展性：支持灵活调整集群节点数量，满足不同规模的计算需求
• 轻量级：基于精简基础镜像，降低资源占用

使用场景和适用范围

• 学习环境：帮助开发者快速搭建Hadoop学习环境，了解分布式计算原理
• 开发测试：为Hadoop应用开发提供本地测试环境，验证MapReduce作业、Spark应用等
• 教学演示：用于课堂或技术分享中展示Hadoop集群的部署和运行过程
• 小型数据处理：适用于处理小规模数据集的分布式计算任务

使用方法和配置说明

前提条件

• 已安装Docker和Docker Compose
• 网络环境支持容器间通信

拉取镜像

可通过以下命令拉取镜像：

bash
docker pull kiwenlau/hadoop:2.7.2

获取项目文件

从GitHub克隆项目仓库，包含启动脚本和配置文件：

bash
git clone https://github.com/kiwenlau/hadoop-cluster-docker.git
cd hadoop-cluster-docker

启动集群

执行启动脚本创建并启动Hadoop集群容器（默认包含1个主节点和2个从节点）：

bash
./start-container.sh

初始化HDFS并启动集群服务

进入主节点容器，执行初始化和启动命令：

bash
# 进入主节点容器
docker exec -it hadoop-master bash

# 初始化HDFS文件系统
hdfs namenode -format

# 启动Hadoop集群
./start-hadoop.sh

访问集群

• HDFS Web界面：通过http://<主机IP>:50070访问NameNode管理界面
• YARN Web界面：通过http://<主机IP>:8088访问ResourceManager管理界面
• 容器内操作：通过docker exec -it hadoop-master bash进入主节点容器，执行Hadoop命令（如hdfs dfs -ls /、yarn jar <jar包> <主类> <参数>）

停止集群

在主机执行停止脚本：

bash
./stop-container.sh

Docker部署示例

docker-compose配置示例

项目中提供docker-compose.yml文件，可直接使用Docker Compose启动集群：

yaml
version: '2'
services:
  master:
    image: kiwenlau/hadoop:2.7.2
    container_name: hadoop-master
    ports:
      - "50070:50070"
      - "8088:8088"
    volumes:
      - ./hadoop-master:/root/hadoop-2.7.2
    networks:
      - hadoop-network
    command: /root/start-master.sh

  slave1:
    image: kiwenlau/hadoop:2.7.2
    container_name: hadoop-slave1
    volumes:
      - ./hadoop-slave1:/root/hadoop-2.7.2
    networks:
      - hadoop-network
    command: /root/start-slave.sh master

  slave2:
    image: kiwenlau/hadoop:2.7.2
    container_name: hadoop-slave2
    volumes:
      - ./hadoop-slave2:/root/hadoop-2.7.2
    networks:
      - hadoop-network
    command: /root/start-slave.sh master

networks:
  hadoop-network:
    driver: bridge

启动命令：

bash
docker-compose up -d

手动启动命令示例

手动创建网络并启动容器（以1主2从为例）：

bash
# 创建自定义网络
docker network create hadoop-network

# 启动主节点
docker run -itd --name hadoop-master --network hadoop-network -p 50070:50070 -p 8088:8088 kiwenlau/hadoop:2.7.2 /bin/bash

# 启动从节点1
docker run -itd --name hadoop-slave1 --network hadoop-network kiwenlau/hadoop:2.7.2 /bin/bash

# 启动从节点2
docker run -itd --name hadoop-slave2 --network hadoop-network kiwenlau/hadoop:2.7.2 /bin/bash

配置参数说明

• 节点数量调整：修改start-container.sh脚本中的N变量（默认值为2）可调整从节点数量
• Hadoop配置文件：通过挂载本地目录到容器内/root/hadoop-2.7.2/etc/hadoop路径，自定义core-site.xml、hdfs-site.xml、yarn-site.xml等配置文件
• 资源限制：启动容器时可通过-m参数限制内存使用（如-m 2g限制为2GB内存）
• 端口映射：根据需要调整主机与容器的端口映射，避免端口冲突

更多详细配置和使用说明可参考项目GitHub文档或作者博客：Run Hadoop Cluster in Docker Update