热门搜索:
flokkr/hadoop
flokkr
具备高级配置处理能力的Apache Hadoop容器，支持多种配置加载机制和扩展插件，适用于快速部署和管理Hadoop集群。
1 次收藏下载次数: 0状态：社区镜像维护者：flokkr仓库类型：镜像最近更新：4 年前
让 AI 帮你使用轩辕镜像？ · 展开查看说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
Hadoop集群Docker镜像文档
镜像概述和主要用途
本仓库包含基础Hadoop集群的Docker镜像，基于flokkr基础镜像构建，支持多种配置加载机制和扩展插件。通过环境变量可激活不同配置模式，适用于快速部署、配置和管理Hadoop集群，满足从独立Docker环境到多主机分布式部署的需求。
核心功能和特性
- 多配置加载机制：支持通过环境变量（envtoconf）、Consul服务（consul）等方式加载配置
- 动态配置更新：Consul配置模式下支持配置变更后自动重启服务
- Java应用监控：集成Btrace工具，可通过自定义脚本对Java进程进行动态 instrumentation
- 灵活的配置转换：支持将环境变量转换为XML、Properties、YAML等多种配置格式
配置与扩展
flokkr容器支持多种配置加载机制和扩展，均通过环境变量激活，具体定义见https://github.com/flokkr/docker-baseimage%E3%80%82
可用插件
| 名称 | 描述 |
|---|---|
| envtoconf | 简单配置加载，适用于独立Docker文件。通过命名约定将环境变量转换为XML/Property等配置格式 |
| consul | 从Consul加载复杂配置，从Consul服务器下载配置并在配置变更时重启服务，适用于多主机部署 |
| btrace | 通过自定义Btrace脚本修改JAVA_OPTS，实现Java进程的动态 instrumentation |
插件详情
ENVTOCONF：简单配置加载
默认激活（CONFIG_TYPE=simple），可通过环境变量定义配置，自动转换为指定格式并保存到$CONF_DIR目录。配置转换工具源码见https://github.com/elek/envtoconf%E3%80%82
环境变量命名约定
通过以下模式设置配置键：
NAME.EXTENSION_configkey=VALUE
EXTENSION：指定目标文件扩展名，需对应预定义转换格式（当前支持xml、yaml、properties、configuration、env、sh、conf、cfg）
示例：
CORE-SITE_fs.default.name: "hdfs://localhost:9000" HDFS-SITE_dfs_namenode_rpc-address: "localhost:9000" HBASE-SITE.XML_hbase_zookeeper_quorum: "localhost"
如需指定与扩展名不同的转换格式，可使用：
NAME.EXTENSION!FORMAT_configkey=VALUE
示例（Kafka server.properties需使用cfg格式）：
SERVER.CONF!CFG_zookeeper.address=zookeeper:2181
可用转换格式
- xml：Hadoop XML文件格式
- properties：键值对，使用
:分隔 - cfg：键值对，使用
=分隔 - conf：键值对，使用空格分隔（如spark-defaults）
- env：键值对，使用
=分隔 - sh：同env格式，但包含
export关键字
配置参考
| 名称 | 默认值 | 描述 |
|---|---|---|
| CONF_DIR | 容器定义中设置 | 配置文件保存目录 |
| CONFIG_TYPE | simple | 配置类型标识，设为simple时激活该插件 |
CONSUL：Consul配置加载
通过CONFIG_TYPE=consul激活，基于Consul键值存储下载配置文件，并使用consul-template启动应用进程（配置变更时自动重启）。配置加载工具源码见https://github.com/elek/consul-launcher%E3%80%82
| 名称 | 默认值 | 描述 |
|---|---|---|
| CONF_DIR | 容器定义中设置 | 配置文件保存目录 |
| CONFIG_TYPE | consul | 配置类型标识，设为consul时激活该插件 |
| CONSUL_PATH | conf | Consul中配置所在的根路径 |
| CONSUL_KEY | 容器配置所在的子路径，最终路径为$CONSUL_PATH/$CONSUL_KEY |
配置说明：
CONSUL_PATH定义配置根路径（可包含config.ini），CONSUL_KEY为可选子目录。配置文件从$CONSUL_PATH/$CONSUL_KEY下载，配置规则从$CONSUL_PATH/config.ini读取。
BTRACE：Btrace instrumentation
通过BTRACE_ENABLED=true或设置BTRACE_SCRIPT激活，向JAVA_OPTS（或BTRACE_OPTS_VAR指定的变量）注入Btrace javaagent配置。标准输出重定向至/tmp/output.log，Btrace输出通过/tmp/btrace.out显示。
| 名称 | 默认值 | 描述 |
|---|---|---|
| CONF_DIR | 容器定义中设置 | 配置文件保存目录 |
| BTRACE_SCRIPT | <未设置> | 已编译Btrace脚本路径，可绝对路径或相对于/opt/plugins/020_btrace/btrace |
| BTRACE_OPTS_VAR | JAVA_OPTS | 注入agent参数的环境变量名 |
使用场景和适用范围
- 开发测试环境：通过envtoconf快速配置独立Hadoop集群
- 多主机生产环境：使用Consul配置模式实现分布式配置管理和动态更新
- 性能调试：通过Btrace插件对Hadoop Java进程进行实时监控和分析
使用方法和示例
快速启动
使用内置docker-compose文件启动HDFS和YARN集群：
bashdocker-compose up -d
可通过compose-config文件调整配置。
扩展节点
扩展datanode/namenode数量：
bashdocker-compose scale datanode=3
访问Web界面
- ResourceManager：http://localhost:8080
- Namenode（Hadoop 2.x）：http://localhost:50070
冒烟测试
在ResourceManager容器中运行MapReduce示例任务：
bashdocker-compose exec resourcemanager /opt/hadoop/bin/yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar pi 16 1000
版本策略
- latest标签：指向最新配置加载机制和最新稳定Apache版本
- 纯版本标签：与原始Apache软件版本同步（如
2.8.1） - 带前缀标签：包含特定厂商发行版版本（如
HDP-2.6.5） - 即使旧版本标签也可能随基础镜像配置加载功能更新而刷新
- 镜像通过Travis CI构建并上传至Docker Hub
本地构建
使用内置Makefile构建：
bashmake build
可通过VERSION和URL环境变量指定特定版本：
bashVERSION=2.9.2 URL=[***] make build
更多相关 Docker 镜像与资源
以下是 flokkr/hadoop 相关的常用 Docker 镜像，适用于 不同场景 等不同场景：
- apache/hadoop Docker 镜像说明（Apache Hadoop 大数据处理框架，适合分布式存储和计算）
- openeuler/hadoop Docker 镜像说明（openEuler 场景下的 Hadoop 大数据组件镜像，适合国产化环境下的离线计算与存储验证）
- library/flink Docker 镜像说明（Apache Flink，流处理和批处理大数据引擎）
- bitnami/spark Docker 镜像说明（Apache Spark 大数据处理引擎，Bitnami 企业级配置）
- library/spark Docker 镜像说明（Apache Spark 大数据处理引擎，官方标准版本）
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull flokkr/hadoop:<标签>
更多 hadoop 镜像推荐
apache/hadoop
Apache 软件基金会镜像
Apache Hadoop便捷构建版本是Apache软件基金会推出的预编译分布式计算框架构建包，集成HDFS分布式文件系统、YARN资源管理器及MapReduce计算模型等核心组件，无需复杂编译配置即可快速搭建运行环境，适用于处理大规模数据集的分布式存储与并行计算任务，满足开发、测试及中小型生产环境的便捷使用需求。
130 次收藏50万+ 次下载
1 个月前更新
openeuler/hadoop
openeuler
官方Hadoop Docker镜像，基于openEuler构建，支持分布式处理大型数据集，提供Web UI访问，适用于大数据处理场景。
1 次收藏2千+ 次下载
11 个月前更新
danisla/hadoop
danisla
Hadoop image built with native libraries
2 次收藏50万+ 次下载
8 年前更新
harisekhon/hadoop
harisekhon
Apache Hadoop 是大数据分布式存储和计算软件，集成HDFS分布式存储与Yarn分布式处理框架，默认在单个容器中启动包含4个守护进程的伪分布式集群，适合开发和测试环境。
73 次收藏10万+ 次下载
6 年前更新
kiwenlau/hadoop
kiwenlau
在Docker容器中运行Hadoop集群的镜像，用于快速部署和管理分布式Hadoop环境，简化Hadoop集群的搭建流程。
26 次收藏10万+ 次下载
10 年前更新
tailtarget/hadoop
tailtarget
hadoop 2.7.2 image
1万+ 次下载
9 年前更新
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"