cybermaggedon/hadoop

Hadoop Docker镜像文档

镜像概述

该Docker镜像提供Hadoop运行环境，支持单节点独立模式或配置为集群模式，可运行HDFS（分布式文件系统）和/或Yarn（资源管理器），适用于Hadoop相关的开发、测试和小型部署场景。

核心功能与特性

• 灵活部署模式：支持单节点独立运行或多节点集群配置
• 组件可选择性：可单独或组合运行HDFS和Yarn组件
• 数据持久化：通过卷挂载实现数据持久化存储
• 环境变量配置：通过环境变量灵活配置集群参数

使用场景

• 开发环境中的Hadoop应用测试
• 小型Hadoop集群部署
• HDFS分布式文件系统实验
• Yarn资源管理调度测试

使用方法与配置说明

基本使用（单节点模式）

直接运行单节点Hadoop实例：

bash
docker run -p 9000:9000 cybermaggedon/hadoop:2.10.0

数据持久化

通过挂载卷到/data目录实现数据持久化：

bash
docker run -p 9000:9000 -v /data/hadoop:/data cybermaggedon/hadoop:2.10.0

集群模式配置

通过环境变量配置集群参数，主要环境变量说明：

• DAEMONS：逗号分隔的要启动的守护进程列表，有效值包括：

  • HDFS组件：namenode、secondarynamenode、datanode
  • Yarn组件：resourcemanager、nodemanager、proxyserver
  • 默认值：除proxyserver外的所有组件

• NAMENODE_URI：HDFS namenode的URI，格式如hdfs://host1:9000，默认值hdfs://localhost:9000

• DFS_REPLICATION：数据副本数量，默认值1；如需数据弹性集群建议设为3（需至少3个节点）

• RESOURCEMANAGER_HOSTNAME：nodemanager用于定位resourcemanager的主机名

HDFS集群部署示例

bash
# 主节点（Master）
docker run --rm -e DAEMONS=namenode,datanode,secondarynamenode \
    --name=hadoop01 -p 50070:50070 -p 50075:50075 -p 50090:50090 \
    -p 9000:9000 cybermaggedon/hadoop:2.10.0 /start-namenode

# 从节点（Slaves）
docker run --rm -e DAEMONS=datanode -e NAMENODE_URI=hdfs://hadoop01:9000 \
    --name=hadoop02 --link hadoop01:hadoop01 -P cybermaggedon/hadoop:2.10.0 \
    /start-datanode
docker run --rm -e DAEMONS=datanode -e NAMENODE_URI=hdfs://hadoop01:9000 \
    --name=hadoop03 --link hadoop01:hadoop01 -P cybermaggedon/hadoop:2.10.0 \
    /start-datanode

Yarn集群部署示例

bash
# 主节点（Master）
docker run --rm --name=hadoop01 \
    -p 8088:8088 cybermaggedon/hadoop:2.10.0 \
    start-resourcemanager

# 从节点（Slaves）
docker run --rm -e RESOURCEMANAGER_HOSTNAME=hadoop01 \
    -i -t --name=hadoop02 \
    --link hadoop01:hadoop01 -P cybermaggedon/hadoop:2.10.0 \
    start-nodemanager
docker run --rm -e RESOURCEMANAGER_HOSTNAME=hadoop01 \
    -i -t --name=hadoop03 \
    --link hadoop01:hadoop01 -P cybermaggedon/hadoop:2.10.0 \
    start-nodemanager

源码地址

http://github.com/cybermaggedon/hadoop-docker