longe/hadoop Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

Hadoop Docker镜像文档

镜像概述

本镜像提供Hadoop分布式系统的容器化部署方案，支持Hadoop 2.x（2.7.7）和3.x（3.1.3）版本，基于Ubuntu、Debian及Alpine等多种基础镜像构建。通过容器化方式简化Hadoop集群的搭建、配置与管理，适用于快速部署开发、测试及学习环境。

核心功能与特性

• 多版本支持：提供Hadoop 2.7.7和3.1.3两个稳定版本
• 部署模式灵活：支持伪分布式（Pseudo-Distributed）和完全分布式（Fully-Distributed）两种部署模式
• 组件完整：包含namenode、secondarynamenode、datanode、resourcemanager、nodemanager、historyserver、timelineserver等核心组件
• 多基础镜像：支持Ubuntu（16.04/18.04）、Debian（9 stretch）及Alpine（3.10）等基础镜像
• 持久化存储：支持挂载本地目录作为配置文件和数据存储目录
• 环境定制：可通过环境变量自定义容器环境（如PS1_设置命令行提示符）

使用场景

• Hadoop分布式系统学习与实践
• Hadoop应用开发与测试环境搭建
• 小型Hadoop集群快速部署与验证
• Hadoop版本兼容性测试

使用方法

伪分布式部署（Pseudo-Distributed）

Hadoop 2.x（2.7.7）

bash
docker run --rm -it \
-p 8020:8020 -p 50070:50070 -p 50075:50075 -p 50090:50090 -p 8088:8088 -p 8042:8042 -p ***:*** -p 8188:8188 \
-v `pwd`/temp/conf:/etc/hadoop \
-v `pwd`/temp/data:/data/hadoop \
-e PS1_=hadoop2 \
--name hadoop-server -h hadoop-server \
longe/hadoop:2.7.7 namenode,secondarynamenode,datanode,resourcemanager,nodemanager,historyserver,timelineserver

Hadoop 3.x（3.1.3）

bash
docker run --rm -it \
-p 8020:8020 -p 50070:9870 -p 50075:9864 -p 50090:9868 -p 8088:8088 -p 8042:8042 -p ***:*** -p 8188:8188 \
-e PS1_=hadoop3 \
--name hadoop-server -h hadoop-server \
longe/hadoop:3.1.3 namenode,secondarynamenode,datanode,resourcemanager,nodemanager,historyserver,timelineserver

参数说明：

• -p：端口映射，Hadoop 2.x与3.x的Web UI端口不同（如HDFS Web UI：2.x为50070，3.x为9870）
• -v：挂载本地目录，./temp/conf存放Hadoop配置文件，./temp/data存放Hadoop数据
• -e PS1_：设置容器内命令行提示符
• --name/-h：指定容器名称和主机名

完全分布式部署（Fully-Distributed）

通过Docker Compose实现多节点集群部署：

bash
# 创建网络
docker network create --driver=bridge hadoop

# 启动集群（需配合docker-compose.yml文件）
docker-compose up -d

注：完全分布式部署需准备相应的docker-compose.yml配置文件，定义namenode、datanode等节点服务。

镜像构建方法

基于Ubuntu

Ubuntu 18.04 (bionic)

bash
# Hadoop 2.7.7 (Java 8)
docker build -t longe/hadoop:2.7.7 ./ --build-arg HADOOP_VERSION=2.7.7
docker tag longe/hadoop:2.7.7 longe/hadoop:2.7.7-bionic
docker tag longe/hadoop:2.7.7 longe/hadoop:2.7.7-java-8-bionic

# Hadoop 3.1.3 (Java 8)
docker build -t longe/hadoop:3.1.3 ./ --build-arg HADOOP_VERSION=3.1.3
docker tag longe/hadoop:3.1.3 longe/hadoop:3.1.3-bionic
docker tag longe/hadoop:3.1.3 longe/hadoop:3.1.3-java-8-bionic

Ubuntu 16.04 (xenial)

bash
# Hadoop 2.7.7 (Java 8)
docker build -t longe/hadoop:2.7.7-xenial ./ --build-arg FROM_TAG=8-xenial --build-arg HADOOP_VERSION=2.7.7
docker tag longe/hadoop:2.7.7-xenial longe/hadoop:2.7.7-java-8-xenial

# Hadoop 3.1.3 (Java 8)
docker build -t longe/hadoop:3.1.3-xenial ./ --build-arg FROM_TAG=8-xenial --build-arg HADOOP_VERSION=3.1.3
docker tag longe/hadoop:3.1.3-xenial longe/hadoop:3.1.3-java-8-xenial

基于Debian 9 (stretch)

bash
# Hadoop 2.7.7 (OpenJDK 8)
docker build -t longe/hadoop:2.7.7-openjdk-8 ./ --build-arg FROM_IMG=openjdk --build-arg FROM_TAG=8-jdk --build-arg HADOOP_VERSION=2.7.7
docker tag longe/hadoop:2.7.7-openjdk-8 longe/hadoop:2.7.7-openjdk-8-stretch

# Hadoop 3.1.3 (OpenJDK 8)
docker build -t longe/hadoop:3.1.3-openjdk-8 ./ --build-arg FROM_IMG=openjdk --build-arg FROM_TAG=8-jdk --build-arg HADOOP_VERSION=3.1.3
docker tag longe/hadoop:3.1.3-openjdk-8 longe/hadoop:3.1.3-openjdk-8-stretch

# Hadoop 2.7.7 (Java 8)
docker build -t longe/hadoop:2.7.7-java-8-stretch ./ --build-arg FROM_TAG=8-stretch --build-arg HADOOP_VERSION=2.7.7

基于Alpine 3.10

bash
# Hadoop 2.7.7 (Java 8)
docker build -t longe/hadoop:2.7.7-alpine ./ -f ./Dockerfile.alpine --build-arg HADOOP_VERSION=2.7.7
docker tag longe/hadoop:2.7.7-alpine longe/hadoop:2.7.7-java-8-alpine

构建参数说明：

• HADOOP_VERSION：指定Hadoop版本（2.7.7或3.1.3）
• FROM_IMG：基础镜像名称（如openjdk）
• FROM_TAG：基础镜像标签（如8-jdk、8-stretch等）
• -f ./Dockerfile.alpine：使用Alpine专用Dockerfile