aristanetworks/hadoop

Hadoop Docker镜像文档

镜像概述

本镜像为Hadoop的容器化部署提供支持，基于Docker Hub发布，旨在简化Hadoop分布式系统的搭建与运行流程。通过容器化方式，可快速部署包含HDFS（分布式文件系统）、MapReduce（分布式计算框架）及YARN（资源管理器）等核心组件的Hadoop环境，适用于开发、测试及小型生产场景。

核心功能与特性

• 完整组件集成：包含Hadoop核心组件（HDFS、MapReduce、YARN），无需额外手动配置组件依赖。
• 容器化部署：通过Docker实现环境隔离，避免主机环境冲突，简化跨平台部署流程。
• 轻量级运行：优化镜像体积，降低资源占用，支持快速启动与销毁。
• 可扩展性：支持通过Docker Compose或Kubernetes扩展为多节点Hadoop集群。

使用场景

• 开发与测试：为Hadoop应用开发提供一致的本地测试环境，避免环境差异导致的问题。
• 教学与演示：快速搭建Hadoop演示环境，展示分布式计算与存储原理。
• 小型生产环境：适用于数据量较小、资源有限的场景，如部门级数据分析任务。

使用方法与配置说明

基本使用（单节点模式）

通过docker run命令启动单节点Hadoop容器：

bash
docker run -d -p 9870:9870 -p 8088:8088 --name hadoop-single hadoop

• -p 9870:9870：映射HDFS Web界面端口
• -p 8088:8088：映射YARN Web界面端口
• --name hadoop-single：指定容器名称

环境变量配置

可通过环境变量自定义Hadoop配置，常用参数如下：

示例：指定HDFS副本数为2

bash
docker run -d -e HDFS_REPLICATION=2 -p 9870:9870 hadoop

多节点集群部署（Docker Compose）

创建docker-compose.yml配置文件，实现多节点集群：

yaml
version: '3'
services:
  namenode:
    image: hadoop
    command: namenode
    ports:
      - "9870:9870"
    environment:
      - HDFS_REPLICATION=2
    volumes:
      - hdfs-namenode:/hadoop/dfs/name

  datanode1:
    image: hadoop
    command: datanode
    environment:
      - HDFS_NAMENODE_URI=hdfs://namenode:9000

  datanode2:
    image: hadoop
    command: datanode
    environment:
      - HDFS_NAMENODE_URI=hdfs://namenode:9000

  resourcemanager:
    image: hadoop
    command: resourcemanager
    ports:
      - "8088:8088"

volumes:
  hdfs-namenode:

启动集群：

bash
docker-compose up -d

访问与验证

• HDFS Web界面：http://localhost:9870
• YARN Web界面：http://localhost:8088
• 进入容器执行Hadoop命令：

bash
docker exec -it hadoop-single hadoop fs -ls /