elek/hadoop

Hadoop基础集群Docker镜像

镜像概述和主要用途

本仓库包含用于基本Hadoop集群的Docker镜像，支持多种配置加载机制，可灵活部署Hadoop组件（如YARN、HDFS等）。配置加载逻辑基于https://github.com/elek/docker-bigdata-base%E9%95%9C%E5%83%8F%E5%AE%9E%E7%8E%B0%EF%BC%8C%E9%85%8D%E7%BD%AE%E6%96%B9%E6%B3%95%E5%AD%98%E5%82%A8%E5%9C%A8%60/opt/configurer%60%E7%9B%AE%E5%BD%95%EF%BC%8C%E5%8F%AF%E9%80%9A%E8%BF%87%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%60CONFIG_TYPE%60%E9%80%89%E6%8B%A9%E3%80%82%E6%9B%B4%E5%A4%9A%E7%A4%BA%E4%BE%8B%E9%85%8D%E7%BD%AE%E3%80%81Ansible%E5%8F%8Adocker-compose%E8%84%9A%E6%9C%AC%E5%8F%AF%E5%8F%82%E8%80%83https://github.com/elek/bigdata-docker%E3%80%82

核心功能和特性

• 支持多种配置加载机制（simple/consul）
• 支持通过环境变量定义配置文件
• 支持动态配置更新（consul模式）
• 提供灵活的版本控制策略
• 支持本地自定义构建

配置加载机制

主要配置类型

• CONFIG_TYPE=simple：使用简单默认配置及环境变量定义的配置
• CONFIG_TYPE=consul：从Consul键值存储加载配置文件，支持配置变更时自动重启

简单配置（默认）

环境变量配置键命名规则

通过以下模式设置配置变量：

NAME.EXTENSION_configkey=VALUE

• EXTENSION：文件扩展名，需对应预定义转换类型（目前支持xml、yaml、properties、configuration、env、sh、conf、cfg）
• configkey：配置项键名

示例：

CORE-SITE_fs.default.name: "hdfs://localhost:9000"
HDFS-SITE_dfs_namenode_rpc-address: "localhost:9000"
HBASE-SITE.XML_hbase_zookeeper_quorum: "localhost"

如需指定与扩展名不同的转换格式，可使用：

NAME.EXTENSION!FORMAT_configkey=VALUE

示例（Kafka server.properties使用cfg转换）：

SERVER.CONF!CFG_zookeeper.address=zookeeper:2181

支持的转换类型

• xml：Hadoop XML文件格式
• properties：键值对，使用:分隔
• cfg：键值对，使用=分隔
• conf：键值对，使用空格分隔（如spark-defaults）
• env：键值对，使用=分隔
• sh：同env，但包含export关键字

示例

https://github.com/elek/bigdata-docker%E9%A1%B9%E7%9B%AE%E7%9A%84simple%E7%9B%AE%E5%BD%95%E6%8F%90%E4%BE%9B%E4%BA%86%E4%BD%BF%E7%94%A8%E7%AE%80%E5%8D%95%E9%85%8D%E7%BD%AE%E7%9A%84https://github.com/elek/bigdata-docker/blob/master/simple/docker-compose.yaml%E3%80%82

Consul配置加载

通过CONFIG_TYPE=consul启用，基于https://github.com/elek/consul-launcher%E5%AE%9E%E7%8E%B0%EF%BC%8C%E4%BB%8EConsul%E9%94%AE%E5%80%BC%E5%AD%98%E5%82%A8%E4%B8%8B%E8%BD%BD%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6%EF%BC%8C%E5%B9%B6%E9%80%9A%E8%BF%87consul-template%E7%9B%91%E6%8E%A7%E9%85%8D%E7%BD%AE%E5%8F%98%E6%9B%B4%E5%AE%9E%E7%8E%B0%E8%87%AA%E5%8A%A8%E9%87%8D%E5%90%AF%E3%80%82

配置参数

• CONSUL_PATH：配置文件根目录，默认值为conf，根目录可包含config.ini配置
• CONSUL_KEY（可选）：子目录，若同时设置CONSUL_PATH和CONSUL_KEY，配置文件从$CONSUL_PATH/$CONSUL_KEY下载，config.ini从$CONSUL_PATH读取

使用场景和适用范围

• 快速部署Hadoop测试/开发环境
• 构建可扩展的Hadoop集群
• 需要动态配置更新的Hadoop部署
• 教学和学习Hadoop集群架构

使用方法和配置示例

Docker Compose部署示例

以下示例启动简单HDFS集群：

yaml
version: "2"
services:
   namenode:
      image: elek/hadoop-hdfs-namenode:latest
      container_name: hdfs_namenode
      hostname: namenode
      volumes:
         - /tmp:/data
      ports:
         - 50070:50070
         - 9870:9870
      environment:
          HADOOP_OPTS: "-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005"
          HDFS-SITE.XML_dfs.namenode.rpc-address: "namenode:9000"
          HDFS-SITE.XML_dfs.replication: "1"
          HDFS-SITE.XML_dfs.permissions.superusergroup: "admin"
          HDFS-SITE.XML_dfs.namenode.name.dir: "/data/namenode"
          HDFS-SITE.XML_dfs.namenode.http-bind-host: "0.0.0.0"
          LOG4J.PROPERTIES_log4j.rootLogger: "INFO, stdout"
          LOG4J.PROPERTIES_log4j.appender.stdout: "org.apache.log4j.ConsoleAppender"
          LOG4J.PROPERTIES_log4j.appender.stdout.layout: "org.apache.log4j.PatternLayout"
          LOG4J.PROPERTIES_log4j.appender.stdout.layout.ConversionPattern: "%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n"
   datanode:
      image: elek/hadoop-hdfs-datanode:latest
      volumes:
        - /tmp:/data
      links:
         - namenode
      environment:
          HDFS-SITE.XML_dfs.namenode.rpc-address: "namenode:9000"
          HDFS-SITE.XML_dfs.replication: "1"
          HDFS-SITE.XML_dfs.permissions.superusergroup: "admin"
          HDFS-SITE.XML_dfs.namenode.http-bind-host: "0.0.0.0"
          LOG4J.PROPERTIES_log4j.rootLogger: "INFO, stdout"
          LOG4J.PROPERTIES_log4j.appender.stdout: "org.apache.log4j.ConsoleAppender"
          LOG4J.PROPERTIES_log4j.appender.stdout.layout: "org.apache.log4j.PatternLayout"
          LOG4J.PROPERTIES_log4j.appender.stdout.layout.ConversionPattern: "%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n"
          CORE-SITE.XML_fs.default.name: "hdfs://namenode:9000"
          CORE-SITE.XML_fs.defaultFS: "hdfs://namenode:9000"

集群部署步骤

1. 格式化Namenode（首次启动时）：

bash
docker-compose run namenode hdfs namenode -format

2. 启动集群：

bash
docker-compose up -d

3. 扩展集群：

bash
docker-compose scale datanode=3

版本策略

• latest：指向最新配置加载机制和最新稳定Apache版本
• testing：通常指向前沿开发快照或RC/alpha版本，预期可正常工作
• 无前缀版本标签：与原始Apache软件版本同步
• 带前缀版本（如HDP）：特定发行版的特定版本
• 注意：即使旧版本标签也可能随基础镜像配置加载机制的更新而刷新

本地构建

可通过branch.sh和localbuild.sh构建自定义版本：

1. 设置标签：

bash
export DOCKER_TAG=3.0.0-alpha3-SNAPSHOT

2. 修改基础镜像源（可选）：

bash
./branch.sh http://localhost/apache-hadoop.tar.gz

3. 构建镜像：

bash
./localbuild.sh

4. 使用自定义镜像：

bash
docker run .... elek/image_name:$DOCKER_TAG

本地文件服务：若需提供本地tar文件，可启动简单HTTP服务器：

• Python 3：python3 -m http.server
• Python 2：python -m SimpleHTTPServer