flokkr/hadoop

Hadoop集群Docker镜像文档

镜像概述和主要用途

本仓库包含基础Hadoop集群的Docker镜像，基于flokkr基础镜像构建，支持多种配置加载机制和扩展插件。通过环境变量可激活不同配置模式，适用于快速部署、配置和管理Hadoop集群，满足从独立Docker环境到多主机分布式部署的需求。

核心功能和特性

• 多配置加载机制：支持通过环境变量（envtoconf）、Consul服务（consul）等方式加载配置
• 动态配置更新：Consul配置模式下支持配置变更后自动重启服务
• Java应用监控：集成Btrace工具，可通过自定义脚本对Java进程进行动态 instrumentation
• 灵活的配置转换：支持将环境变量转换为XML、Properties、YAML等多种配置格式

配置与扩展

flokkr容器支持多种配置加载机制和扩展，均通过环境变量激活，具体定义见https://github.com/flokkr/docker-baseimage%E3%80%82

可用插件

插件详情

ENVTOCONF：简单配置加载

默认激活（CONFIG_TYPE=simple），可通过环境变量定义配置，自动转换为指定格式并保存到$CONF_DIR目录。配置转换工具源码见https://github.com/elek/envtoconf%E3%80%82

环境变量命名约定

通过以下模式设置配置键：

NAME.EXTENSION_configkey=VALUE

• EXTENSION：指定目标文件扩展名，需对应预定义转换格式（当前支持xml、yaml、properties、configuration、env、sh、conf、cfg）

示例：

CORE-SITE_fs.default.name: "hdfs://localhost:9000"
HDFS-SITE_dfs_namenode_rpc-address: "localhost:9000"
HBASE-SITE.XML_hbase_zookeeper_quorum: "localhost"

如需指定与扩展名不同的转换格式，可使用：

NAME.EXTENSION!FORMAT_configkey=VALUE

示例（Kafka server.properties需使用cfg格式）：

SERVER.CONF!CFG_zookeeper.address=zookeeper:2181

可用转换格式

• xml：Hadoop XML文件格式
• properties：键值对，使用:分隔
• cfg：键值对，使用=分隔
• conf：键值对，使用空格分隔（如spark-defaults）
• env：键值对，使用=分隔
• sh：同env格式，但包含export关键字

配置参考

CONSUL：Consul配置加载

通过CONFIG_TYPE=consul激活，基于Consul键值存储下载配置文件，并使用consul-template启动应用进程（配置变更时自动重启）。配置加载工具源码见https://github.com/elek/consul-launcher%E3%80%82

配置说明：CONSUL_PATH定义配置根路径（可包含config.ini），CONSUL_KEY为可选子目录。配置文件从$CONSUL_PATH/$CONSUL_KEY下载，配置规则从$CONSUL_PATH/config.ini读取。

BTRACE：Btrace instrumentation

通过BTRACE_ENABLED=true或设置BTRACE_SCRIPT激活，向JAVA_OPTS（或BTRACE_OPTS_VAR指定的变量）注入Btrace javaagent配置。标准输出重定向至/tmp/output.log，Btrace输出通过/tmp/btrace.out显示。

使用场景和适用范围

• 开发测试环境：通过envtoconf快速配置独立Hadoop集群
• 多主机生产环境：使用Consul配置模式实现分布式配置管理和动态更新
• 性能调试：通过Btrace插件对Hadoop Java进程进行实时监控和分析

使用方法和示例

快速启动

使用内置docker-compose文件启动HDFS和YARN集群：

bash
docker-compose up -d

可通过compose-config文件调整配置。

扩展节点

扩展datanode/namenode数量：

bash
docker-compose scale datanode=3

访问Web界面

• ResourceManager：http://localhost:8080
• Namenode（Hadoop 2.x）：http://localhost:50070

冒烟测试

在ResourceManager容器中运行MapReduce示例任务：

bash
docker-compose exec resourcemanager /opt/hadoop/bin/yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar pi 16 1000

版本策略

• latest标签：指向最新配置加载机制和最新稳定Apache版本
• 纯版本标签：与原始Apache软件版本同步（如2.8.1）
• 带前缀标签：包含特定厂商发行版版本（如HDP-2.6.5）
• 即使旧版本标签也可能随基础镜像配置加载功能更新而刷新
• 镜像通过Travis CI构建并上传至Docker Hub

本地构建

使用内置Makefile构建：

bash
make build

可通过VERSION和URL环境变量指定特定版本：

bash
VERSION=2.9.2 URL=[***] make build