mtsrus/hadoop Docker Image Overview

mtsrus/hadoop

mtsrus

包含Hadoop集群组件（HDFS、Yarn、Hive等）的Docker镜像，适用于测试环境，提供Hadoop 2和3版本，支持HDFS独立、Yarn及Hive集成配置，可自定义资源和参数。

5 次收藏下载次数: 0状态：社区镜像维护者：mtsrus仓库类型：镜像最近更新：29 天前

使用轩辕镜像，把时间还给真正重要的事。点击查看

中文简介版本下载

使用轩辕镜像，把时间还给真正重要的事。点击查看

Hadoop Docker镜像

仅用于测试目的！

镜像概述和主要用途

该Docker镜像提供包含Hadoop集群组件的一站式容器化解决方案，支持HDFS独立部署、Yarn资源管理及Hive数据仓库集成。主要用于测试环境，可快速搭建Hadoop相关服务，支持Hadoop 2和3两个版本系列，满足不同测试需求。

核心功能和特性

多组件集成：根据配置不同，可包含HDFS（NameNode、Secondary NameNode、DataNode）、Yarn（ResourceManager、NodeManager）、MapReduce JobHistory Server及Hive（Hive Server、Metastore Server）等组件
版本支持：提供Hadoop 2.x和3.x系列镜像，包含HDFS、Yarn、Hive等不同功能组合版本
灵活配置：支持通过挂载配置文件、设置环境变量等方式自定义服务参数
资源优化：针对测试场景优化资源需求，可根据组件类型调整CPU、内存配置

HDFS

版本

mtsrus/hadoop:hadoop2.7.3-hdfs
mtsrus/hadoop:hadoop2-hdfs - 与上述版本相同
mtsrus/hadoop:hadoop3.3.6-hdfs
mtsrus/hadoop:hadoop3-hdfs - 与上述版本相同

前提条件

最小资源要求：

200m CPU
700Mb 内存
1Gb 存储空间

示例

详见docker-compose.yml

端口号

注意：Hadoop 2镜像与Hadoop 3使用相同端口号：

9820:9820 - HDFS IPC
9870:9870 - WebHDFS

配置

`/var/hadoop/conf/*.xml` 文件

默认配置

/var/hadoop/conf/core-site.xml
/var/hadoop/conf/hdfs-site.xml

可通过将自定义配置文件挂载到容器内/var/hadoop/conf目录来覆盖默认Hadoop配置。

替代变量

以下变量会被替换为实际值：

{{hostname}} - 当前主机名

容器环境变量

WAIT_TIMEOUT_SECONDS=120 - 启动每个服务后检查存活状态的超时时间（秒）

`/var/hadoop/conf/hadoop-env.sh` 环境变量

默认值

export HADOOP_HEAPSIZE=512 - 所有Hadoop组件的最大JVM内存（MB），如无单独配置则应用此值

若容器因OutOfMemory失败，应增加此值，例如设为1024或2048。

服务专用变量

export HADOOP_NAMENODE_OPTS=-Xmx2048m - NameNode的最大JVM内存
export HADOOP_SECONDARYNAMENODE_OPTS=-Xmx2048m - Secondary NameNode的最大JVM内存
export HADOOP_DATANODE_OPTS=-Xmx1024m - DataNode的最大JVM内存

参考：[***]

Yarn

版本

mtsrus/hadoop:hadoop2.7.3-yarn
mtsrus/hadoop:hadoop2-yarn - 与上述版本相同
mtsrus/hadoop:hadoop3.3.6-yarn
mtsrus/hadoop:hadoop3-yarn - 与上述版本相同

前提条件

最小资源要求：

400m CPU
1Gb 内存
1Gb 存储空间

示例

详见docker-compose.yml

端口号

注意：Hadoop 2镜像与Hadoop 3使用相同端口号：

9820:9820 - HDFS IPC
9870:9870 - HDFS WebHDFS
8042:8042 - NodeManager UI
8088:8088 - Yarn UI

若WITH_JOBHISTORY_SERVER=true：

***:*** - MapReduce JobServer
***:*** - MapReduce JobServer History

配置

`/var/hadoop/conf/*.xml` 文件

默认配置

/var/hadoop/conf/core-site.xml
/var/hadoop/conf/hdfs-site.xml
/var/hadoop/conf/yarn-site.xml
/var/hadoop/conf/capacity-scheduler.xml
/var/hadoop/conf/mapred-site.xml

可通过将自定义配置文件挂载到容器内/var/hadoop/conf目录来覆盖默认Hadoop配置。

替代变量

以下变量会被替换为实际值：

{{hostname}} - 当前主机名

容器环境变量

WAIT_TIMEOUT_SECONDS=120 - 启动每个服务后检查存活状态的超时时间（秒）
WITH_JOBHISTORY_SERVER=false - 设置为true以启动MapReduce JobHistory服务器

`/var/hadoop/conf/hadoop-env.sh` 环境变量

参见HDFS镜像文档。

`/var/hadoop/conf/yarn-env.sh` 环境变量

export YARN_RESOURCEMANAGER_OPTS=-Xmx1024m - Yarn ResourceManager的最大JVM内存
export YARN_NODEMANAGER_OPTS=-Xmx1024m - NodeManager的最大JVM内存
export HADOOP_JOB_HISTORYSERVER_OPTS=-Xmx1024m - MapReduce JobHistory服务器的最大JVM内存

参考：[***]

Hive

版本

mtsrus/hadoop:hadoop2.7.3-hive2.3.10
mtsrus/hadoop:hadoop2-hive - 与上述版本相同
mtsrus/hadoop:hadoop3.3.6-hive3.1.3
mtsrus/hadoop:hadoop3-hive - 与上述版本相同

前提条件

最小资源要求：

500m CPU
2Gb 内存
1Gb 存储空间
运行中的关系型数据库（如Postgres）实例，用于Metastore存储

示例

详见docker-compose.yml

端口号

注意：Hadoop 2镜像与Hadoop 3使用相同端口号：

9820:9820 - HDFS IPC
9870:9870 - HDFS WebHDFS

若WITH_HIVE_SERVER=true：

8042:8042 - NodeManager UI
8088:8088 - Yarn UI
***:*** - MapReduce JobServer History
***:*** - Hive服务器
***:*** - Hive管理UI

若WITH_HIVE_METASTORE_SERVER=true：

9083:9083 - Hive Metastore服务器

配置

`/var/hive/conf/.xml` 和 `var/hadoop/conf/.xml` 文件

默认配置

/var/hadoop/conf/hive-site.xml

可通过将自定义配置文件挂载到容器内/var/hive/conf目录来覆盖默认Hive配置。HDFS和Yarn配置仍可通过var/hadoop/conf目录传递。

替代变量

以下变量会被替换为实际值：

{{hostname}} - 当前主机名
{{HIVE_METASTORE_DB_URL}} - HIVE_METASTORE_DB_URL环境变量（默认jdbc:postgresql://postgres:5432/metastore）
{{HIVE_METASTORE_DB_DRIVER}} - HIVE_METASTORE_DB_DRIVER环境变量（默认org.postgresql.Driver）
{{HIVE_METASTORE_DB_USER}} - HIVE_METASTORE_DB_USER环境变量（默认hive）
{{HIVE_METASTORE_DB_PASSWORD}} - HIVE_METASTORE_DB_PASSWORD环境变量（默认hive）