ceph/ceph-amd64

ceph-amd64 Docker镜像文档

一、镜像概述和主要用途

ceph-amd64 是基于 AMD64 架构的 Ceph 分布式存储系统 Docker 镜像。Ceph 是一个开源的统一存储解决方案，支持对象存储、块存储和文件系统三种存储接口。该镜像通过 Docker 容器化技术封装 Ceph 服务组件（如 Monitor、OSD、MDS 等），旨在简化 Ceph 集群的部署流程、提升环境一致性，并降低跨平台配置复杂度。主要用途包括快速搭建 Ceph 存储集群、验证 Ceph 功能特性，以及作为生产环境中 Ceph 部署的基础容器。

二、核心功能和特性

2.1 核心功能

• 多存储接口支持：同时提供对象存储（兼容 S3/Swift API）、块存储（RBD，用于虚拟机/容器持久化存储）和文件系统（CephFS，兼容 POSIX）。
• 分布式架构：无中心节点设计，支持横向扩展（节点/容量扩展）和高可用（自动故障转移）。
• 数据可靠性：通过副本（Replicated）或纠删码（Erasure Code）实现数据冗余，支持自动检测和修复数据损坏（Scrub/Deep Scrub）。
• 统一存储池：单一集群可同时承载对象、块、文件存储需求，简化存储管理。

2.2 镜像特性

• Docker化部署：容器封装简化依赖管理，确保跨环境部署一致性。
• AMD64架构优化：针对 x86_64 处理器架构优化，提升存储性能和资源利用率。
• 组件灵活性：支持单独部署 Ceph 组件（如 Monitor、OSD、MDS）或一键启动完整集群。
• 轻量级测试：支持单节点模式快速启动，便于开发/测试环境验证 Ceph 功能。

三、使用场景和适用范围

3.1 典型使用场景

• 企业级存储基础设施：作为核心存储系统，为数据库、虚拟机、应用服务器提供高可用存储。
• 云平台后端存储：为 OpenStack、CloudStack 等云平台提供虚拟机块存储（RBD）和对象存储（S3/Swift）。
• 大数据存储：作为 Hadoop、Spark 等大数据框架的底层存储，支持 PB 级数据容量扩展。
• 容器化应用存储：与 Kubernetes 集成，通过 RBD 或 CephFS 提供持久卷（Persistent Volume）。
• 混合云存储网关：通过 S3 API 对接公有云，构建混合云存储架构。

3.2 适用范围

• 硬件要求：AMD64 架构服务器（推荐 4 核 CPU、16GB 内存、多块 SSD/HDD 硬盘）。
• 网络要求：支持双网络平面（公共网络用于客户端访问，集群网络用于内部数据同步）。
• 部署规模：从单节点测试环境到数千节点的生产级集群均可支持。

四、使用方法和配置说明

4.1 前置要求

• 安装 Docker（20.10+）和 Docker Compose（2.0+）。
• 节点硬件满足 Ceph 最低要求（生产环境建议：每节点至少 1 OSD 盘、独立的 Journal 盘）。
• 网络配置：确保节点间端口互通（默认端口：6789/3300/6800-7300 等）。

4.2 获取镜像

通过 Docker Hub 拉取最新镜像（假设镜像标签为 latest，实际使用时建议指定具体版本号）：

bash
docker pull ceph/ceph-amd64:latest

4.3 基本使用方法

4.3.1 单节点测试部署

适用于功能验证，不建议生产环境使用：

bash
# 启动单节点 Ceph 集群（包含 Monitor、OSD、MDS、RGW）
docker run -d --name ceph-test \
  --net=host \
  -v /etc/ceph:/etc/ceph \
  -v /var/lib/ceph:/var/lib/ceph \
  -e CEPH_PUBLIC_NETWORK=192.168.1.0/24 \  # 替换为实际公共网络 CIDR
  ceph/ceph-amd64:latest start --single-node

4.3.2 多节点集群部署（Docker Compose）

通过 docker-compose.yml 定义集群节点（以 3 节点 Monitor + 3 节点 OSD 为例）：

yaml
# docker-compose.yml
version: '3'
services:
  # Monitor 节点 1
  mon1:
    image: ceph/ceph-amd64:latest
    container_name: ceph-mon1
    network_mode: host
    volumes:
      - /etc/ceph:/etc/ceph
      - /var/lib/ceph/mon/ceph-mon1:/var/lib/ceph/mon/ceph-mon1
    environment:
      - CEPH_PUBLIC_NETWORK=192.168.1.0/24
      - CEPH_CLUSTER_NETWORK=192.168.2.0/24
      - MON_IP=192.168.1.101  # 替换为 mon1 实际 IP
      - CLUSTER_NAME=ceph
    command: mon

  # Monitor 节点 2
  mon2:
    image: ceph/ceph-amd64:latest
    container_name: ceph-mon2
    network_mode: host
    volumes:
      - /etc/ceph:/etc/ceph
      - /var/lib/ceph/mon/ceph-mon2:/var/lib/ceph/mon/ceph-mon2
    environment:
      - CEPH_PUBLIC_NETWORK=192.168.1.0/24
      - CEPH_CLUSTER_NETWORK=192.168.2.0/24
      - MON_IP=192.168.1.102  # 替换为 mon2 实际 IP
      - CLUSTER_NAME=ceph
    command: mon

  # OSD 节点 1（使用 /dev/sdb 作为 OSD 盘）
  osd1:
    image: ceph/ceph-amd64:latest
    container_name: ceph-osd1
    network_mode: host
    privileged: true  # OSD 需要直接访问底层设备
    volumes:
      - /etc/ceph:/etc/ceph
      - /var/lib/ceph/osd/ceph-0:/var/lib/ceph/osd/ceph-0
      - /dev:/dev  # 挂载宿主机设备
    environment:
      - CEPH_PUBLIC_NETWORK=192.168.1.0/24
      - CEPH_CLUSTER_NETWORK=192.168.2.0/24
      - OSD_DEVICE=/dev/sdb  # 替换为实际 OSD 设备路径
    command: osd

启动集群：

bash
docker-compose up -d

4.4 配置参数说明

4.4.1 核心环境变量

4.4.2 配置文件挂载

Ceph 核心配置文件（ceph.conf、密钥环 *.keyring）需通过宿主机目录挂载到容器内 /etc/ceph，确保集群配置持久化和节点间同步：

bash
-v /path/to/host/ceph-config:/etc/ceph

4.5 集群验证与管理

4.5.1 检查集群状态

进入容器执行 ceph -s 命令：

bash
docker exec -it ceph-mon1 ceph -s

预期输出（集群健康状态）：

  cluster:
    id:     xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
    health: HEALTH_OK

  services:
    mon: 3 daemons, quorum mon1,mon2,mon3 (age 10m)
    mgr: mon1(active, since 8m)
    osd: 3 osds: 3 up (since 5m), 3 in (since 5m)

  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   3.0 GiB / 9.0 GiB used
    pgs:

4.5.2 访问 Ceph Dashboard

默认启用 Dashboard（Web 管理界面），通过 http://<mon-ip>:8443 访问，默认用户名 admin，密码通过以下命令获取：

bash
docker exec -it ceph-mon1 ceph config get mgr mgr/dashboard/admin_password

五、注意事项

1. 生产环境建议：单节点模式仅用于测试，生产环境需至少 3 个 Monitor 节点（确保 quorum）和 3 个 OSD 节点（确保数据冗余）。
2. 存储设备：OSD 节点需使用独立物理硬盘（避免与系统盘共享 I/O），推荐 SSD 提升性能。
3. 网络隔离：公共网络与集群网络建议物理隔离，避免客户端流量影响集群内部同步。
4. 版本选择：生产环境请使用稳定版本镜像（如 ceph/ceph-amd64:18.2.1），避免 latest 标签自动更新导致兼容性问题。

六、镜像维护与更新

• 获取最新版本：docker pull ceph/ceph-amd64:latest
• 升级集群：先更新镜像，再通过 docker-compose up -d 滚动重启服务（需遵循 Ceph 版本升级流程）。
• 镜像来源：建议通过官方渠道获取镜像，确保安全性（如 Docker Hub ceph 仓库）。