ikuai/hadoop

Hadoop Docker镜像文档

镜像概述

基于https://github.com/SingularitiesCR/hadoop-docker项目构建，集成Hadoop 2.8.3版本，默认启动YARN服务，已配置语言环境为en_US.UTF-8，时区设置为CST（Asia/Shanghai），支持SSH登录，可简化Hadoop集群的部署与管理流程。

核心功能与特性

• Hadoop版本：集成稳定版Hadoop 2.8.3
• 默认服务：容器启动时自动启动YARN服务
• 环境配置：预设语言环境en_US.UTF-8，时区CST（Asia/Shanghai）
• SSH支持：内置SSH服务，支持无密码登录配置
• 权限优化：通过环境变量简化Hadoop权限与SSH配置

使用场景与适用范围

• Hadoop集群开发与测试环境快速搭建
• Hadoop生态系统学习与研究
• 单节点或多节点Hadoop集群部署
• 需要统一时区和语言环境的Hadoop应用场景

使用方法与配置说明

环境变量配置

HDFS_USER

• 说明：指定Hadoop运行用户，建议设置为root以避免权限问题及SSH无密码登录配置复杂性（如Hadoop权限设置、SSH免密登录等）
• 默认值：未明确指定，建议显式设置
• 示例：HDFS_USER=root

Docker Compose配置注意事项

从节点主机名配置

• 说明：YARN主节点需要识别所有从节点的主机名或IP，需确保volumes目录下的slaves文件中列出的从节点名称与容器主机名一致
• 操作步骤：
  1. 在挂载的volumes目录中创建或编辑slaves文件
  2. 每行填写一个从节点容器的主机名
  3. 确保从节点容器的hostname配置与slaves文件中的名称完全一致

部署示例

单节点启动命令

bash
docker run -d \
  -e HDFS_USER=root \
  --name hadoop-single \
  docker.xuanyuan.run/singularities/hadoop:2.8.3

Docker Compose多节点配置示例

yaml
version: '3'
services:
  namenode:
    image: docker.xuanyuan.run/singularities/hadoop:2.8.3
    hostname: namenode
    environment:
      - HDFS_USER=root
    volumes:
      - ./volumes/slaves:/usr/local/hadoop/etc/hadoop/slaves
    ports:
      - "50070:50070"  # HDFS Web UI
      - "8088:8088"    # YARN Web UI
  datanode1:
    image: docker.xuanyuan.run/singularities/hadoop:2.8.3
    hostname: datanode1
    environment:
      - HDFS_USER=root
  datanode2:
    image: docker.xuanyuan.run/singularities/hadoop:2.8.3
    hostname: datanode2
    environment:
      - HDFS_USER=root

slaves文件配置：./volumes/slaves文件内容需包含所有从节点主机名，示例：

datanode1
datanode2