packet23/hadoop-base

Hadoop Sandbox Docker镜像文档

1. 镜像概述和主要用途

Hadoop Sandbox Docker镜像是https://github.com/hadoop-sandbox%E9%A1%B9%E7%9B%AE%E7%9A%84%E5%AE%B9%E5%99%A8%E5%8C%96%E5%AE%9E%E7%8E%B0%EF%BC%8C%E6%8F%90%E4%BE%9BHadoop%E9%9B%86%E7%BE%A4%E6%A0%B8%E5%BF%83%E7%BB%84%E4%BB%B6%E7%9A%84%E5%AE%B9%E5%99%A8%E5%8C%96%E9%83%A8%E7%BD%B2%E6%96%B9%E6%A1%88%E3%80%82%E8%AF%A5%E9%95%9C%E5%83%8F%E9%9B%86%E5%90%88%E5%B0%86Hadoop%E7%94%9F%E6%80%81%E7%B3%BB%E7%BB%9F%E7%9A%84%E5%85%B3%E9%94%AE%E7%BB%84%E4%BB%B6%EF%BC%88HDFS%E3%80%81YARN%E3%80%81MapReduce%E7%AD%89%EF%BC%89%E6%8B%86%E5%88%86%E4%B8%BA%E7%8B%AC%E7%AB%8B%E9%95%9C%E5%83%8F%EF%BC%8C%E6%97%A8%E5%9C%A8%E7%AE%80%E5%8C%96Hadoop%E7%8E%AF%E5%A2%83%E7%9A%84%E6%90%AD%E5%BB%BA%E3%80%81%E9%85%8D%E7%BD%AE%E5%92%8C%E7%AE%A1%E7%90%86%EF%BC%8C%E9%80%82%E7%94%A8%E4%BA%8EHadoop%E5%BC%80%E5%8F%91%E3%80%81%E6%B5%8B%E8%AF%95%E3%80%81%E5%AD%A6%E4%B9%A0%E5%8F%8A%E5%B0%8F%E5%9E%8B%E6%BC%94%E7%A4%BA%E5%9C%BA%E6%99%AF%E3%80%82

2. 核心功能和特性

2.1 镜像组件说明

Hadoop Sandbox镜像包含以下核心组件，各组件功能如下：

• hadoop-base：基础镜像，包含Hadoop发行版、运行时依赖库及预配置的系统用户，作为其他组件镜像的基础。
• hadoop-client：客户端节点镜像，内置SSH服务器，支持通过SSH连接集群，提供Hadoop命令行工具（hdfs、yarn、mapred等）。
• hadoop-hdfs-namenode：HDFS分布式文件系统的Namenode组件，负责管理文件系统元数据（如目录结构、文件位置）。
• hadoop-hdfs-datanode：HDFS分布式文件系统的Datanode组件，负责存储实际文件数据块。
• hadoop-yarn-resourcemanager：YARN资源管理器组件，负责集群资源（CPU、内存）的分配与调度。
• hadoop-yarn-nodemanager：YARN节点管理器组件，运行在每个计算节点，负责启动和监控容器（Container）及任务执行。
• hadoop-mapred-jobhistoryserver：MapReduce作业历史服务器，负责记录和查询已完成的MapReduce作业信息。

2.2 核心特性

• 组件化部署：各Hadoop组件独立封装为镜像，支持按需部署，灵活组合集群规模。
• 预配置依赖：内置Hadoop运行所需的JDK、SSH等依赖，无需手动安装配置。
• 用户隔离：预配置Hadoop专用系统用户（如hadoop），确保运行环境隔离与安全。
• 简化管理：通过容器化方式统一生命周期管理（启动、停止、重启），降低环境维护成本。

3. 使用场景和适用范围

适用场景

• 开发环境：供开发人员在本地搭建Hadoop测试环境，验证HDFS操作、MapReduce作业或YARN任务调度。
• 学习实践：帮助Hadoop初学者快速部署完整集群，实践HDFS、YARN、MapReduce等组件的基本操作。
• 测试验证：测试Hadoop集群配置（如副本数量、资源调度策略）对作业性能的影响。
• 小型演示：构建轻量级Hadoop集群，用于技术演示或教学展示。

不适用场景

• 生产环境：缺乏高可用（HA）配置、数据持久化机制不完善，无法满足生产级稳定性和可靠性要求。
• 大规模集群：容器化部署在资源隔离、网络性能上存在限制，不适合超大规模节点集群。

4. 使用方法和配置说明

4.1 前提条件

• 已安装Docker（20.10+）及Docker Compose（2.0+）。
• 主机需分配足够内存（建议至少4GB），Hadoop组件（尤其是Namenode、ResourceManager）对内存要求较高。

4.2 镜像拉取

假设镜像托管于Docker Hub（实际需替换为项目官方仓库地址），拉取命令如下：

bash
# 拉取基础镜像
docker pull hadoop-sandbox/hadoop-base:latest

# 拉取客户端镜像
docker pull hadoop-sandbox/hadoop-client:latest

# 拉取HDFS组件镜像
docker pull hadoop-sandbox/hadoop-hdfs-namenode:latest
docker pull hadoop-sandbox/hadoop-hdfs-datanode:latest

# 拉取YARN组件镜像
docker pull hadoop-sandbox/hadoop-yarn-resourcemanager:latest
docker pull hadoop-sandbox/hadoop-yarn-nodemanager:latest

# 拉取MapReduce作业历史服务器镜像
docker pull hadoop-sandbox/hadoop-mapred-jobhistoryserver:latest

4.3 单个镜像运行示例

以下为独立运行hadoop-client（客户端节点）的示例，用于通过SSH连接集群：

bash
docker run -d \
  --name hadoop-client \
  -p 2222:22 \  # 映射SSH端口到主机2222
  --network hadoop-net \  # 建议使用自定义网络隔离集群
  hadoop-sandbox/hadoop-client:latest

运行后，通过SSH连接客户端节点：

bash
ssh -p 2222 hadoop@localhost  # 默认用户：hadoop，密码：hadoop（需参考镜像实际配置）

4.4 集群部署（docker-compose配置示例）

Hadoop集群需多组件协同工作，推荐使用docker-compose编排部署。以下为最小化集群配置示例（docker-compose.yml）：

yaml
version: '3.8'

networks:
  hadoop-net:
    driver: bridge

volumes:
  hdfs-namenode-data:  # 持久化Namenode元数据
  hdfs-datanode-data:  # 持久化Datanode数据块

services:
  # HDFS Namenode
  namenode:
    image: hadoop-sandbox/hadoop-hdfs-namenode:latest
    container_name: hadoop-namenode
    networks:
      - hadoop-net
    volumes:
      - hdfs-namenode-data:/hadoop/dfs/name
    environment:
      - HDFS_NAMENODE_HOST=namenode  # 容器内主机名（与service名一致）
      - HDFS_REPLICATION_FACTOR=1  # 测试环境副本数设为1
    ports:
      - "9870:9870"  # HDFS WebUI端口
    restart: unless-stopped

  # HDFS Datanode
  datanode:
    image: hadoop-sandbox/hadoop-hdfs-datanode:latest
    container_name: hadoop-datanode
    networks:
      - hadoop-net
    volumes:
      - hdfs-datanode-data:/hadoop/dfs/data
    environment:
      - HDFS_NAMENODE_URI=hdfs://namenode:9000  # 连接Namenode地址
    depends_on:
      - namenode
    restart: unless-stopped

  # YARN ResourceManager
  resourcemanager:
    image: hadoop-sandbox/hadoop-yarn-resourcemanager:latest
    container_name: hadoop-resourcemanager
    networks:
      - hadoop-net
    ports:
      - "8088:8088"  # YARN WebUI端口
    environment:
      - YARN_RESOURCEMANAGER_HOST=resourcemanager
    depends_on:
      - namenode
    restart: unless-stopped

  # YARN NodeManager
  nodemanager:
    image: hadoop-sandbox/hadoop-yarn-nodemanager:latest
    container_name: hadoop-nodemanager
    networks:
      - hadoop-net
    environment:
      - YARN_RESOURCEMANAGER_HOST=resourcemanager
      - YARN_NODEMANAGER_HOST=nodemanager
    depends_on:
      - resourcemanager
    restart: unless-stopped

  # MapReduce JobHistoryServer
  jobhistoryserver:
    image: hadoop-sandbox/hadoop-mapred-jobhistoryserver:latest
    container_name: hadoop-jobhistoryserver
    networks:
      - hadoop-net
    ports:
      - "19888:19888"  # JobHistory WebUI端口
    environment:
      - MAPRED_HISTORY_SERVER_HOST=jobhistoryserver
    depends_on:
      - resourcemanager
    restart: unless-stopped

  # Hadoop Client（SSH访问）
  client:
    image: hadoop-sandbox/hadoop-client:latest
    container_name: hadoop-client
    networks:
      - hadoop-net
    ports:
      - "2222:22"  # SSH端口映射
    depends_on:
      - namenode
      - resourcemanager
    restart: unless-stopped

部署步骤：

1. 创建docker-compose.yml文件，复制上述配置。
2. 执行部署命令：

   bash
   docker-compose up -d  # 后台启动所有服务
   

3. 验证集群状态：
   • 访问HDFS WebUI：http://localhost:9870
   • 访问YARN WebUI：http://localhost:8088
   • 通过SSH连接客户端节点执行Hadoop命令：hdfs dfs -ls /

4.5 环境变量与配置参数

各镜像支持通过环境变量自定义配置，常用参数如下（具体以镜像版本为准）：

5. 注意事项

• 数据持久化：生产环境需通过volumes持久化Namenode元数据和Datanode数据，避免容器删除导致数据丢失。
• 资源配置：根据集群规模调整容器内存/CPU限制（通过docker run --memory或docker-compose的deploy.resources配置）。
• 网络隔离：使用自定义Docker网络（如示例中的hadoop-net）确保集群组件通信隔离。
• 安全性：默认配置可能包含弱密码（如hadoop/hadoop），生产环境需修改用户密码并限制SSH访问。
• 版本兼容性：不同Hadoop版本的组件端口（如HDFS的9870端口对应Hadoop 3.x）可能不同，需根据镜像Hadoop版本调整端口映射。