apache/ozone

Apache Hadoop Ozone 便利镜像技术文档

1. 镜像概述和主要用途

Apache Hadoop Ozone 便利镜像是基于 Apache Hadoop Ozone 构建的预配置容器镜像，旨在简化 Ozone 分布式对象存储系统的部署与使用。Ozone 是 Hadoop 生态体系中的分布式对象存储解决方案，具备高扩展性、高可用性和强一致性，支持海量非结构化数据存储，并兼容 S3 API 及 Hadoop 文件系统（HDFS）接口。

本镜像作为"便利镜像"，通过预配置基础环境、集成常用组件依赖及提供简化的部署流程，帮助用户快速搭建 Ozone 集群环境，适用于开发测试、学习演示及小规模生产场景。

2. 核心功能和特性

2.1 Ozone 核心功能

• 分布式对象存储：支持海量对象（文件）存储，单集群可扩展至 PB 级乃至 EB 级容量。
• 高可用性：通过多副本机制（默认 3 副本）和故障自动转移，保障数据可靠性和服务连续性。
• 多接口兼容：原生支持 Ozone 原生 API、S3 兼容 API（通过 ozone-s3gateway）及 HDFS 兼容接口，适配不同应用场景。
• 元数据管理：基于 Ozone Manager（OM）和 Storage Container Manager（SCM）实现高效元数据管理，支持快速对象寻址。
• 与 Hadoop 生态集成：可与 Hive、Spark 等 Hadoop 生态组件无缝集成，作为数据存储层使用。

2.2 便利镜像特性

• 预配置环境：内置 Ozone 运行所需的 JDK、Hadoop 依赖及基础配置，无需手动安装依赖。
• 简化部署：提供 docker-compose 配置模板，支持一键构建和启动多节点 Ozone 集群。
• 灵活配置：支持通过环境变量或挂载配置文件自定义 Ozone 参数（如副本数、服务地址等）。
• 轻量调试：集成基础日志工具，便于快速排查部署和运行问题。

3. 使用场景和适用范围

3.1 开发与测试环境

• 快速搭建本地 Ozone 集群，用于开发基于 Ozone 的应用（如 S3 客户端、Hadoop 集成应用等）。
• 验证 Ozone 功能特性（如数据冗余、故障恢复、API 兼容性）的测试环境。

3.2 学习与演示

• 学习 Ozone 架构及核心概念（如对象、桶、卷、容器等）的实验环境。
• 演示 Ozone 与 S3 工具（如 aws-cli）、Hadoop 组件的集成效果。

3.3 小规模部署

• 中小企业或团队的小规模非结构化数据存储需求（如日志、图片、备份数据等）。
• 边缘计算场景下的轻量级分布式存储节点。

4. 使用方法和配置说明

4.1 环境准备

• 安装 Docker 及 Docker Compose（推荐 Docker 20.10+，Docker Compose 2.0+）。
• 克隆或获取包含 docker-compose.yaml 的 Ozone 便利镜像源码/配置包（通常包含镜像构建上下文及部署配置）。

4.2 基于 Docker Compose 部署

4.2.1 构建与启动集群

1. 构建镜像（若未使用预构建镜像）：
   在包含 docker-compose.yaml 的目录下执行：

   bash
   docker-compose build
   

2. 启动集群：

   bash
   docker-compose up -d
   

   该命令将启动 Ozone 集群的核心服务（如 Ozone Manager、Storage Container Manager、Datanode 等），并在后台运行。

3. 验证集群状态：
   通过查看服务日志确认启动成功：

   bash
   docker-compose logs -f ozone-manager  # 查看 Ozone Manager 日志
   

   或访问 Ozone Web UI（默认地址：http://localhost:9874，需根据配置确认端口）。

4.2.2 停止与清理集群

• 停止集群（保留数据卷）：

  bash
  docker-compose down
  

• 停止并清理数据卷（彻底重置环境）：

  bash
  docker-compose down -v
  

4.3 自定义配置

4.3.1 配置文件挂载

Ozone 核心配置通过 ozone-site.xml 文件定义。默认情况下，镜像内置基础配置，用户可通过挂载自定义配置文件覆盖默认值：
在 docker-compose.yaml 中为服务添加卷挂载：

yaml
services:
  ozone-manager:
    volumes:
      - ./custom-ozone-site.xml:/etc/hadoop/ozone-site.xml  # 挂载自定义配置文件

4.3.2 环境变量注入配置

镜像支持通过环境变量动态修改 ozone-site.xml 配置，格式为 OZONE_SITE_XML_<配置项名称>，其中配置项名称需将 . 替换为 _。例如：

• 设置副本数：OZONE_SITE_XML_ozone_replication_factor=3
• 设置 Ozone Manager 地址：OZONE_SITE_XML_ozone_manager_address=ozone-manager:9862

在 docker-compose.yaml 中添加环境变量：

yaml
services:
  ozone-manager:
    environment:
      - OZONE_SITE_XML_ozone_replication_factor=2  # 自定义副本数为 2
      - OZONE_SITE_XML_ozone_manager_port=9862

5. Docker 部署方案示例

5.1 docker-compose.yaml 配置示例

以下为典型的 Ozone 便利镜像 docker-compose.yaml 配置（包含核心服务）：

yaml
version: '3.8'

services:
  # Ozone Manager：管理对象元数据（卷、桶、对象）
  ozone-manager:
    build: .  # 基于当前目录的 Dockerfile 构建
    container_name: ozone-manager
    ports:
      - "9874:9874"  # Web UI 端口
      - "9862:9862"  # 服务端口
    environment:
      - SERVICE_NAME=ozone-manager
      - OZONE_SITE_XML_ozone_replication_factor=3
      - OZONE_SITE_XML_ozone_manager_address=ozone-manager:9862
    volumes:
      - ozone-manager-data:/data/ozone
    networks:
      - ozone-net

  # Storage Container Manager：管理存储容器元数据
  scm:
    build: .
    container_name: scm
    ports:
      - "9876:9876"  # Web UI 端口
      - "9860:9860"  # 服务端口
    environment:
      - SERVICE_NAME=scm
      - OZONE_SITE_XML_ozone_scm_address=scm:9860
    volumes:
      - scm-data:/data/ozone
    networks:
      - ozone-net

  # Datanode：存储实际数据块
  datanode:
    build: .
    container_name: datanode
    depends_on:
      - scm
    environment:
      - SERVICE_NAME=datanode
      - OZONE_SITE_XML_ozone_scm_address=scm:9860
    volumes:
      - datanode-data:/data/ozone
    networks:
      - ozone-net

networks:
  ozone-net:
    driver: bridge

volumes:
  ozone-manager-data:
  scm-data:
  datanode-data:

5.2 部署命令说明

• 构建镜像：docker-compose build（首次使用或修改 Dockerfile 后执行）。
• 启动集群：docker-compose up -d（后台启动所有服务）。
• 查看服务状态：docker-compose ps（检查各服务运行状态）。
• 访问 Ozone Web UI：打开浏览器访问 http://localhost:9874（Ozone Manager UI）或 http://localhost:9876（SCM UI）。

6. 配置参数与环境变量

6.1 常用环境变量

6.2 核心配置文件

• ozone-site.xml：Ozone 主配置文件，包含所有服务参数（如副本策略、端口、存储路径等），可通过环境变量或挂载文件自定义。
• core-site.xml：Hadoop 核心配置，用于集成 HDFS 接口（如需 HDFS 兼容性）。

7. 注意事项

• 本镜像主要面向开发测试场景，生产环境部署需根据实际需求调整配置（如增加 Datanode 数量、启用 Kerberos 认证、配置监控等）。
• 数据卷（ozone-manager-data、scm-data 等）用于持久化存储元数据和数据，删除卷将导致数据丢失。
• 集群规模扩展（如增加 Datanode）需同步调整 docker-compose.yaml 中的服务定义及网络配置。