ceph/ceph-arm64

Ceph-ARM64 Docker镜像文档

一、镜像概述和主要用途

概述

ceph-arm64 是基于 ARM64 架构的 Ceph 分布式存储系统 Docker 镜像。Ceph 是一个开源的统一分布式存储解决方案，支持对象存储、块存储和文件存储三种存储接口，具备高可用性、可扩展性和自愈能力。该镜像针对 ARM64 架构优化，可在 ARM64 服务器或嵌入式设备上部署，提供轻量化、容器化的 Ceph 存储服务。

主要用途

• 为 ARM64 架构环境提供分布式存储基础设施；
• 支持对象存储（兼容 S3/Swift API）、块存储（RBD）和文件存储（CephFS）；
• 作为容器化环境（如 Kubernetes 集群）的持久化存储后端；
• 构建高可用、可扩展的存储集群，适用于云平台、大数据存储、企业级存储等场景。

二、核心功能和特性

核心功能

1. 统一存储接口：支持对象存储（RGW）、块存储（RBD）、文件存储（CephFS）三种存储模式，满足多样化存储需求。
2. 分布式架构：数据自动分布到集群节点，无单点故障，支持 PB 级甚至 EB 级存储容量扩展。
3. 高可用性：通过副本（Replication）或纠删码（Erasure Code）实现数据冗余，节点故障时自动修复数据。
4. 自愈能力：检测到数据损坏或节点故障后，自动触发数据重平衡和修复，无需人工干预。

特性

• ARM64 架构优化：针对 ARM64 处理器指令集和硬件特性优化，提升存储性能和资源利用率。
• 容器化部署：支持 Docker 或 Kubernetes 容器化部署，简化集群搭建和运维流程。
• 灵活的数据冗余策略：可配置副本数（默认 3 副本）或纠删码（如 4+2、8+3 等），平衡存储效率和可靠性。
• 与云原生生态集成：支持 Kubernetes CSI 驱动，可作为容器持久化存储（PVC）的后端；兼容 OpenStack、CloudStack 等云平台。
• 监控与管理：内置 Ceph Manager（mgr）及 Dashboard 模块，提供集群状态监控、性能指标可视化和配置管理功能。

三、使用场景和适用范围

典型使用场景

1. 云原生存储：作为 Kubernetes 集群的存储后端，为容器提供持久化卷（PVC），支持动态卷供应（Dynamic Provisioning）。
2. 边缘计算存储：在 ARM64 架构的边缘设备（如嵌入式服务器、边缘节点）上部署，提供本地化分布式存储。
3. 大数据与 AI 存储：为 Hadoop、Spark 等大数据框架或 AI 训练平台提供高吞吐量、高容量的分布式存储。
4. 企业级存储解决方案：替代传统 SAN/NAS 存储，提供低成本、高扩展的企业级存储服务，支持多协议访问。

适用范围

• 硬件架构：ARM64 架构的服务器、边缘设备或嵌入式系统（如 AWS Graviton、华为鲲鹏、树莓派等）。
• 集群规模：从中小型集群（3 节点起步）到大型分布式集群（数百节点）均可支持。
• 环境要求：需 Docker 或容器运行时环境，建议配置独立存储磁盘（OSD 节点）以提升性能。

四、使用方法和配置说明

1. 镜像拉取

从 Docker 仓库拉取 ceph-arm64 镜像（假设镜像托管于标准 Docker Hub 或私有仓库）：

bash
docker pull ceph/ceph:arm64-latest  # 示例标签，具体以实际仓库为准

2. 基本部署示例（单节点测试）

注意：生产环境需部署多节点集群以保证高可用，以下为单节点测试示例（仅用于功能验证，不具备高可用性）。

2.1 启动 Ceph 单节点集群（含 mon、osd、mgr、dashboard）

bash
docker run -d \
  --name ceph-single-node \
  --net=host \
  --privileged \
  -v /etc/ceph:/etc/ceph \
  -v /var/lib/ceph:/var/lib/ceph \
  -v /dev:/dev \
  -e CEPH_PUBLIC_NETWORK=192.168.1.0/24  # 替换为实际主机网络 CIDR \
  ceph/ceph:arm64-latest \
  cephadm bootstrap --mon-ip 192.168.1.100  # 替换为实际主机 IP

2.2 访问 Dashboard

启动成功后，通过日志获取 Dashboard 访问地址和默认 credentials：

bash
docker logs ceph-single-node | grep "Dashboard"

输出示例：

Dashboard is now available at: https://192.168.1.100:8443/
User: admin, Password: xxxxxxxx

通过浏览器访问 Dashboard 管理集群。

3. 多节点集群部署（docker-compose 示例）

以下为 3 节点 Ceph 集群的 docker-compose.yml 配置示例（含 mon、osd、mgr 组件），需在每个节点分别部署对应组件。

3.1 节点 1（mon1 + mgr1 + osd1）

yaml
version: '3'
services:
  mon1:
    image: ceph/ceph:arm64-latest
    container_name: ceph-mon1
    network_mode: host
    privileged: true
    volumes:
      - /etc/ceph:/etc/ceph
      - /var/lib/ceph/mon/ceph-mon1:/var/lib/ceph/mon/ceph-mon1
    environment:
      - CEPH_CLUSTER=ceph
      - CEPH_CONF=/etc/ceph/ceph.conf
      - MON_NAME=mon1
      - MON_IP=192.168.1.100  # 节点 1 IP
    command: ceph-mon --id mon1 --fsid <cluster-fsid> --config /etc/ceph/ceph.conf

  mgr1:
    image: ceph/ceph:arm64-latest
    container_name: ceph-mgr1
    network_mode: host
    privileged: true
    volumes:
      - /etc/ceph:/etc/ceph
      - /var/lib/ceph/mgr/ceph-mgr1:/var/lib/ceph/mgr/ceph-mgr1
    environment:
      - CEPH_CLUSTER=ceph
      - CEPH_CONF=/etc/ceph/ceph.conf
    command: ceph-mgr --id mgr1 --config /etc/ceph/ceph.conf

  osd1:
    image: ceph/ceph:arm64-latest
    container_name: ceph-osd1
    network_mode: host
    privileged: true
    volumes:
      - /etc/ceph:/etc/ceph
      - /var/lib/ceph/osd/ceph-0:/var/lib/ceph/osd/ceph-0
      - /dev:/dev  # 需映射物理磁盘
    environment:
      - CEPH_CLUSTER=ceph
      - CEPH_CONF=/etc/ceph/ceph.conf
    command: ceph-osd --id 0 --config /etc/ceph/ceph.conf

3. 关键配置参数说明

3.1 环境变量

3.2 核心配置文件（ceph.conf）

关键配置项示例（需根据实际环境调整）：

ini
[global]
fsid = <集群唯一FSID>
mon_initial_members = mon1, mon2, mon3  # Monitor节点名称
mon_host = 192.168.1.100,192.168.1.101,192.168.1.102  # Monitor节点IP
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
osd_pool_default_size = 3  # 默认副本数（生产环境建议3）
osd_pool_default_min_size = 2  # 最小可用副本数

4. 多组件部署说明

• Monitor（mon）：集群元数据管理节点，至少部署 3 个以形成 quorum（生产环境建议奇数节点）。
• OSD（osd）：数据存储节点，负责数据读写和冗余，需绑定物理磁盘，数量决定存储容量和性能。
• Manager（mgr）：集群管理节点，提供监控、Dashboard 和集群状态管理，建议部署 2 个实现高可用。
• RGW（rgw）：对象网关，提供 S3/Swift 兼容的对象存储接口，按需部署（可水平扩展）。
• MDS（mds）：CephFS 文件系统元数据服务，部署 2 个（1 主 1 备）以支持 CephFS。

五、生产环境注意事项

1. 硬件要求：OSD 节点建议配置 SSD 作为日志盘（WAL/DB），提升写入性能；Monitor 节点建议使用 SSD 存储元数据。
2. 网络规划：分离公共网络和集群网络，使用万兆网络提升节点间数据同步效率。
3. 数据冗余：生产环境推荐副本数 ≥3 或纠删码配置（如 4+2），避免数据丢失。
4. 监控告警：启用 Ceph Dashboard 或集成 Prometheus + Grafana 监控集群状态，配置关键指标告警（如 OSD 故障、磁盘使用率过高）。
5. 备份策略：定期备份集群配置文件（ceph.conf）和密钥环（ceph.client.admin.keyring），防止配置丢失。