pilchard/hadoop

Hadoop 2.6 (CDH 5.12) 基础镜像文档

镜像概述

本镜像基于CentOS系统构建，集成OpenJDK 8运行环境，预装Hadoop 2.6（基于CDH 5.12版本），提供Hadoop分布式计算框架的基础运行环境。适用于快速部署Hadoop集群节点，支持大数据存储与处理任务。

核心功能与特性

• Hadoop核心组件：包含HDFS（分布式文件系统）、MapReduce（分布式计算框架）和YARN（资源管理器）
• 稳定基础环境：基于CentOS系统，提供可靠的操作系统层支持
• Java环境：内置OpenJDK 8，满足Hadoop运行的Java依赖需求
• CDH版本特性：采用Cloudera Distribution of Hadoop (CDH) 5.12，提供企业级稳定性与兼容性
• 轻量级设计：精简基础镜像，降低资源占用，适合集群部署

使用场景

• Hadoop分布式集群搭建（主节点、从节点部署）
• 大数据处理任务开发与测试环境
• Hadoop生态系统组件（如Hive、Spark）的基础依赖环境
• 学习与研究Hadoop 2.x版本的功能与架构

使用方法

1. 拉取镜像

bash
docker pull [镜像仓库地址]/hadoop:2.6-cdh5.12-centos-openjdk8

2. 运行容器

基本运行（交互式）

bash
docker run -it --name hadoop-node [镜像仓库地址]/hadoop:2.6-cdh5.12-centos-openjdk8 /bin/bash

后台运行（带端口映射）

bash
docker run -d --name hadoop-master \
  -p 50070:50070 \  # HDFS Web UI
  -p 8088:8088 \    # YARN Web UI
  [镜像仓库地址]/hadoop:2.6-cdh5.12-centos-openjdk8

3. 环境变量配置

4. Docker Compose示例

创建docker-compose.yml文件：

yaml
version: '3'
services:
  hadoop-master:
    image: [镜像仓库地址]/hadoop:2.6-cdh5.12-centos-openjdk8
    container_name: hadoop-master
    ports:
      - "50070:50070"  # HDFS Web UI
      - "8088:8088"    # YARN Web UI
      - "9000:9000"    # HDFS RPC端口
    environment:
      - HADOOP_HOME=/usr/local/hadoop
      - HDFS_NAMENODE_USER=root
    volumes:
      - ./hadoop-config:/usr/local/hadoop/etc/hadoop  # 挂载自定义配置文件
    command: /usr/local/hadoop/sbin/start-all.sh && tail -f /dev/null

启动集群：

bash
docker-compose up -d

5. 验证部署

访问HDFS Web UI：http://localhost:50070
访问YARN Web UI：http://localhost:8088
进入容器验证Hadoop版本：

bash
docker exec -it hadoop-master hadoop version

配置说明

Hadoop配置文件位于${HADOOP_HOME}/etc/hadoop目录，主要配置文件包括：

• core-site.xml：Hadoop核心配置
• hdfs-site.xml：HDFS相关配置
• mapred-site.xml：MapReduce配置
• yarn-site.xml：YARN配置

建议通过挂载外部配置文件目录自定义集群参数，避免直接修改镜像内部文件。