elogroup2007/hadoop

Hadoop Docker镜像文档

镜像概述

本镜像提供了Apache Hadoop分布式计算框架的容器化部署方案。Hadoop是一个开源的分布式系统基础架构，旨在处理大规模数据集的分布式存储和计算，支持在集群环境中高效运行并行处理任务。

核心功能与特性

• 分布式存储：基于HDFS（Hadoop Distributed File System）提供高容错性的分布式文件存储
• 并行计算：集成MapReduce计算模型，支持大规模数据的并行处理
• 资源管理：通过YARN（Yet Another Resource Negotiator）实现集群资源的统一管理和调度
• 可扩展性：支持集群节点的动态扩展，适应数据量增长需求
• 容错机制：具备数据冗余存储和任务失败自动重试机制，保障系统稳定性

使用场景与适用范围

• 大数据分析与处理
• 日志数据集中存储与分析
• 数据仓库构建与ETL流程
• 机器学习训练数据处理
• 高并发、大规模数据处理场景

使用方法与配置说明

基本使用（单节点模式）

bash
docker run -d --name hadoop-single-node -p 9870:9870 -p 8088:8088 hadoop-image:latest

环境变量配置

集群模式部署（使用docker-compose）

yaml
version: '3'
services:
  namenode:
    image: hadoop-image:latest
    environment:
      - HADOOP_MODE=cluster
      - NODE_TYPE=namenode
    ports:
      - "9870:9870"
    volumes:
      - hdfs-namenode:/hadoop/hdfs/namenode

  datanode1:
    image: hadoop-image:latest
    environment:
      - HADOOP_MODE=cluster
      - NODE_TYPE=datanode
      - NAMENODE_HOST=namenode
    volumes:
      - hdfs-datanode1:/hadoop/hdfs/datanode

  datanode2:
    image: hadoop-image:latest
    environment:
      - HADOOP_MODE=cluster
      - NODE_TYPE=datanode
      - NAMENODE_HOST=namenode
    volumes:
      - hdfs-datanode2:/hadoop/hdfs/datanode

  resourcemanager:
    image: hadoop-image:latest
    environment:
      - HADOOP_MODE=cluster
      - NODE_TYPE=resourcemanager
    ports:
      - "8088:8088"

volumes:
  hdfs-namenode:
  hdfs-datanode1:
  hdfs-datanode2:

验证部署

访问HDFS管理界面：http://localhost:9870
访问YARN管理界面：http://localhost:8088