metatronx/hadoop

Metatron Hadoop生态系统镜像

镜像概述

Metatron Hadoop生态系统镜像系列包含三个层级镜像，构建于CentOS基础之上，逐步集成必要工具、Hadoop生态组件及Druid，为Metatron平台及大数据处理场景提供完整运行环境。其中：

• metatronx/base（公共仓库）：基础镜像，包含CentOS系统、必要yum包（如Java、MariaDB）、ZooKeeper及Maven
• metatronx/hadoop（公共仓库）：在base镜像基础上集成Hadoop生态系统组件（如Hadoop、Hive、Spark）
• metatronx/druid（私有仓库）：在hadoop镜像基础上添加Druid组件，支持实时数据分析

核心功能与特性

基础环境层

• 系统与依赖：基于CentOS构建，包含Java、MariaDB等基础运行时依赖
• 工具集成：内置ZooKeeper（分布式协调服务）和Maven（项目构建工具）
• 环境标准化：统一基础环境配置，确保应用部署一致性

Hadoop生态层

• 核心组件：集成Hadoop（分布式存储与计算）、Hive（数据仓库）、Spark（分布式计算引擎）
• 生态协同：组件间预配置联动，支持数据存储、计算、分析全流程
• 兼容性：适配Metatron平台及主流大数据应用场景

Druid集成层

• 实时分析：添加Druid组件，支持高吞吐、低延迟的实时数据摄入与查询
• 架构扩展：基于Hadoop生态构建，可利用HDFS存储及YARN资源管理

使用场景与适用范围

• 大数据处理：适用于批处理、分布式计算任务（基于Hadoop/Spark）
• 数据仓库构建：通过Hive进行结构化数据存储与分析
• 实时数据分析：利用Druid实现流数据实时处理与查询
• Metatron平台部署：作为Metatron平台的基础运行环境
• 开发与测试：提供标准化的大数据开发与测试环境

使用方法与配置说明

镜像拉取

公共仓库镜像（base/hadoop）

bash
# 拉取基础镜像
docker pull metatronx/base

# 拉取Hadoop生态镜像
docker pull metatronx/hadoop

私有仓库镜像（druid）

需通过私有仓库认证后拉取（具体认证方式请联系仓库管理员）：

bash
docker login [私有仓库地址]
docker pull [私有仓库地址]/metatronx/druid

容器运行示例

运行Hadoop生态容器

bash
docker run -d \
  --name metatron-hadoop \
  -p 8088:8088 \  # YARN ResourceManager端口
  -p 50070:50070 \ # HDFS NameNode端口
  -p 10000:10000 \ # HiveServer2端口
  -v /host/data:/data \ # 挂载数据卷
  metatronx/hadoop

环境变量配置

可通过-e参数设置环境变量，常用配置项：

• HADOOP_HOME：Hadoop安装路径（默认：/usr/local/hadoop）
• JAVA_HOME：Java安装路径（默认：/usr/lib/jvm/java）
• HIVE_HOME：Hive安装路径（默认：/usr/local/hive）
• SPARK_HOME：Spark安装路径（默认：/usr/local/spark）

示例：

bash
docker run -d \
  --name metatron-hadoop \
  -e HADOOP_HOME=/custom/hadoop \
  metatronx/hadoop

docker-compose配置示例

yaml
version: '3'
services:
  hadoop-eco:
    image: metatronx/hadoop
    container_name: metatron-hadoop
    ports:
      - "8088:8088"
      - "50070:50070"
      - "***:***"
    volumes:
      - ./data:/data
    environment:
      - HADOOP_HOME=/usr/local/hadoop
      - JAVA_HOME=/usr/lib/jvm/java
    restart: unless-stopped