elek/hadoop Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

Hadoop基础集群Docker镜像

镜像概述和主要用途

本仓库包含用于基本Hadoop集群的Docker镜像，支持多种配置加载机制，可灵活部署Hadoop组件（如YARN、HDFS等）。配置加载逻辑基于base-docker镜像实现，配置方法存储在/opt/configurer目录，可通过环境变量CONFIG_TYPE选择。更多示例配置、Ansible及docker-compose脚本可参考umbrella仓库。

核心功能和特性

• 支持多种配置加载机制（simple/consul）
• 支持通过环境变量定义配置文件
• 支持动态配置更新（consul模式）
• 提供灵活的版本控制策略
• 支持本地自定义构建

配置加载机制

主要配置类型

• CONFIG_TYPE=simple：使用简单默认配置及环境变量定义的配置
• CONFIG_TYPE=consul：从Consul键值存储加载配置文件，支持配置变更时自动重启

简单配置（默认）

环境变量配置键命名规则

通过以下模式设置配置变量：

NAME.EXTENSION_configkey=VALUE

• EXTENSION：文件扩展名，需对应预定义转换类型（目前支持xml、yaml、properties、configuration、env、sh、conf、cfg）
• configkey：配置项键名

示例：

CORE-SITE_fs.default.name: "hdfs://localhost:9000"
HDFS-SITE_dfs_namenode_rpc-address: "localhost:9000"
HBASE-SITE.XML_hbase_zookeeper_quorum: "localhost"

如需指定与扩展名不同的转换格式，可使用：

NAME.EXTENSION!FORMAT_configkey=VALUE

示例（Kafka server.properties使用cfg转换）：

SERVER.CONF!CFG_zookeeper.address=zookeeper:2181

支持的转换类型

• xml：Hadoop XML文件格式
• properties：键值对，使用:分隔
• cfg：键值对，使用=分隔
• conf：键值对，使用空格分隔（如spark-defaults）
• env：键值对，使用=分隔
• sh：同env，但包含export关键字

示例

bigdata-docker项目的simple目录提供了使用简单配置的docker-compose示例。

Consul配置加载

通过CONFIG_TYPE=consul启用，基于elek/consul-launcher实现，从Consul键值存储下载配置文件，并通过consul-template监控配置变更实现自动重启。

配置参数

• CONSUL_PATH：配置文件根目录，默认值为conf，根目录可包含config.ini配置
• CONSUL_KEY（可选）：子目录，若同时设置CONSUL_PATH和CONSUL_KEY，配置文件从$CONSUL_PATH/$CONSUL_KEY下载，config.ini从$CONSUL_PATH读取

使用场景和适用范围

• 快速部署Hadoop测试/开发环境
• 构建可扩展的Hadoop集群
• 需要动态配置更新的Hadoop部署
• 教学和学习Hadoop集群架构

使用方法和配置示例

Docker Compose部署示例

以下示例启动简单HDFS集群：

yaml
version: "2"
services:
   namenode:
      image: elek/hadoop-hdfs-namenode:latest
      container_name: hdfs_namenode
      hostname: namenode
      volumes:
         - /tmp:/data
      ports:
         - 50070:50070
         - 9870:9870
      environment:
          HADOOP_OPTS: "-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005"
          HDFS-SITE.XML_dfs.namenode.rpc-address: "namenode:9000"
          HDFS-SITE.XML_dfs.replication: "1"
          HDFS-SITE.XML_dfs.permissions.superusergroup: "admin"
          HDFS-SITE.XML_dfs.namenode.name.dir: "/data/namenode"
          HDFS-SITE.XML_dfs.namenode.http-bind-host: "0.0.0.0"
          LOG4J.PROPERTIES_log4j.rootLogger: "INFO, stdout"
          LOG4J.PROPERTIES_log4j.appender.stdout: "org.apache.log4j.ConsoleAppender"
          LOG4J.PROPERTIES_log4j.appender.stdout.layout: "org.apache.log4j.PatternLayout"
          LOG4J.PROPERTIES_log4j.appender.stdout.layout.ConversionPattern: "%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n"
   datanode:
      image: elek/hadoop-hdfs-datanode:latest
      volumes:
        - /tmp:/data
      links:
         - namenode
      environment:
          HDFS-SITE.XML_dfs.namenode.rpc-address: "namenode:9000"
          HDFS-SITE.XML_dfs.replication: "1"
          HDFS-SITE.XML_dfs.permissions.superusergroup: "admin"
          HDFS-SITE.XML_dfs.namenode.http-bind-host: "0.0.0.0"
          LOG4J.PROPERTIES_log4j.rootLogger: "INFO, stdout"
          LOG4J.PROPERTIES_log4j.appender.stdout: "org.apache.log4j.ConsoleAppender"
          LOG4J.PROPERTIES_log4j.appender.stdout.layout: "org.apache.log4j.PatternLayout"
          LOG4J.PROPERTIES_log4j.appender.stdout.layout.ConversionPattern: "%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n"
          CORE-SITE.XML_fs.default.name: "hdfs://namenode:9000"
          CORE-SITE.XML_fs.defaultFS: "hdfs://namenode:9000"

集群部署步骤

1. 格式化Namenode（首次启动时）：

bash
docker-compose run namenode hdfs namenode -format

2. 启动集群：

bash
docker-compose up -d

3. 扩展集群：

bash
docker-compose scale datanode=3

版本策略

• latest：指向最新配置加载机制和最新稳定Apache版本
• testing：通常指向前沿开发快照或RC/alpha版本，预期可正常工作
• 无前缀版本标签：与原始Apache软件版本同步
• 带前缀版本（如HDP）：特定发行版的特定版本
• 注意：即使旧版本标签也可能随基础镜像配置加载机制的更新而刷新

本地构建

可通过branch.sh和localbuild.sh构建自定义版本：

1. 设置标签：

bash
export DOCKER_TAG=3.0.0-alpha3-SNAPSHOT

2. 修改基础镜像源（可选）：

bash
./branch.sh http://localhost/apache-hadoop.tar.gz

3. 构建镜像：

bash
./localbuild.sh

4. 使用自定义镜像：

bash
docker run .... elek/image_name:$DOCKER_TAG

本地文件服务：若需提供本地tar文件，可启动简单HTTP服务器：

• Python 3：python3 -m http.server
• Python 2：python -m SimpleHTTPServer