longhornio/longhorn-engine

Longhorn Engine 镜像文档

1. 镜像概述和主要用途

1.1 概述

Longhorn Engine 是 Longhorn 分布式块存储系统的核心运行时组件，负责块存储卷的生命周期管理，包括卷创建、I/O 处理、数据复制、快照生成、备份执行等关键操作。作为 Longhorn 架构的核心，Engine 与 Longhorn Manager、Longhorn UI 等组件协同工作，为 Kubernetes 集群提供企业级持久化存储服务。

1.2 主要用途

• 管理 Kubernetes 持久卷（PV）和持久卷声明（PVC）的底层块存储实现
• 处理存储卷的读写请求，并确保数据跨节点冗余存储
• 执行卷的快照、备份、克隆等数据管理操作
• 实现存储卷的高可用和故障自动转移

2. 核心功能和特性

2.1 分布式块存储管理

• 跨节点数据复制：支持将卷数据复制到多个节点（副本），确保单点故障不影响数据可用性
• 动态卷配置：根据 Kubernetes PVC 请求自动创建和分配块存储卷

2.2 高可用性与可靠性

• 自动故障转移：当存储节点或副本故障时，自动将卷切换到健康副本，确保业务连续性
• 数据一致性：采用分布式共识算法（如 Raft）保证多副本数据一致性

2.3 数据管理能力

• 快照与备份：支持手动/定时快照，快照可备份至 NFS、S3 等外部存储系统
• 卷克隆：基于快照快速创建卷克隆，无需全量数据复制，提升资源利用率
• 精简配置：卷创建时仅分配元数据空间，实际数据写入时按需分配物理存储

2.4 Kubernetes 集成

• CSI 兼容：完全符合 Kubernetes 容器存储接口（CSI）规范，支持动态配置、挂载、扩容等操作
• 存储类支持：可通过 Kubernetes StorageClass 定义存储策略（如副本数、QoS），供 PVC 动态调用

2.5 性能与资源控制

• 存储 QoS：支持配置卷的最大带宽和 IOPS，避免存储资源争抢
• 缓存优化：利用本地缓存提升读写性能，减少跨节点数据传输开销

3. 使用场景和适用范围

3.1 适用场景

• Kubernetes 有状态应用：为数据库（MySQL、PostgreSQL）、消息队列（Kafka、RabbitMQ）、分布式系统（Elasticsearch、MongoDB）等提供持久化存储
• 高可用业务需求：对数据可用性要求高的关键业务，通过多副本机制避免单点故障
• 数据备份与恢复：需要定期备份数据、支持灾难恢复的场景，可将快照备份至外部存储
• 动态存储扩缩容：业务数据量增长需动态扩展存储容量的应用，支持卷在线扩容

3.2 适用范围

• Kubernetes 集群环境（1.21+ 版本推荐）
• 具备多节点的服务器集群（推荐 3+ 节点以确保高可用）
• 支持块设备（如 SSD、HDD）或文件系统（ext4、xfs）的存储介质
• 生产环境、测试环境及开发环境

4. 使用方法和配置说明

4.1 环境准备

• 操作系统：Linux（内核 4.19+，支持 overlay2 存储驱动）
• 容器运行时：Docker 19.03+ 或 containerd 1.4+
• Kubernetes 集群（推荐 1.21+，若使用 Docker 部署测试，需确保节点网络互通）
• 存储要求：每个节点提供至少 10GB 可用存储空间（用于存储卷数据和元数据）

4.2 部署方式

Longhorn Engine 通常作为 Longhorn 整体系统的一部分部署，推荐在 Kubernetes 环境中通过 Helm 或 kubectl 部署。以下提供测试环境的 Docker 部署示例及生产环境的 Kubernetes 部署方法。

4.2.1 Docker 部署（测试环境）

单节点 Docker 运行示例：

bash
docker run -d \
  --name longhorn-engine \
  --privileged \
  --network host \
  -v /var/lib/longhorn:/var/lib/longhorn \
  -v /dev:/dev \
  -v /proc:/proc \
  -e LONGHORN_ENGINE_IMAGE=longhorn/longhorn-engine:v1.6.0 \
  -e LONGHORN_MANAGER_URL=http://127.0.0.1:9500 \
  longhorn/longhorn-engine:v1.6.0

参数说明：

• --privileged：需要特权模式以访问主机存储设备
• -v /var/lib/longhorn:/var/lib/longhorn：挂载 Longhorn 数据目录
• -v /dev:/dev：访问主机块设备
• LONGHORN_MANAGER_URL：指定 Longhorn Manager 的 API 地址（需先部署 Longhorn Manager）

4.2.2 Kubernetes 部署（生产环境）

通过 Helm 部署：

1. 添加 Longhorn Helm 仓库：

bash
helm repo add longhorn https://charts.longhorn.io
helm repo update

2. 安装 Longhorn（包含 Engine、Manager、UI 等组件）：

bash
helm install longhorn longhorn/longhorn \
  --namespace longhorn-system \
  --create-namespace \
  --set defaultSettings.defaultReplicaCount=3 \
  --set persistence.defaultClass=true

参数说明：

• defaultSettings.defaultReplicaCount=3：默认卷副本数为 3（高可用配置）
• persistence.defaultClass=true：将 Longhorn 设置为 Kubernetes 默认存储类

4.3 配置参数详解

4.3.1 核心配置参数（Kubernetes 部署）

4.3.2 环境变量（Docker 部署）

4.4 卷管理操作

创建卷（Kubernetes PVC 示例）

yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: longhorn-test-pvc
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: longhorn
  resources:
    requests:
      storage: 10Gi

应用 PVC：

bash
kubectl apply -f test-pvc.yaml

创建快照（Longhorn CLI）

bash
longhornctl snapshot create my-volume --name snapshot-20240501

备份快照

bash
longhornctl backup create my-volume snapshot-20240501 --target-url s3://my-backup-bucket@us-west-2/longhorn-backups

5. 注意事项

• 生产环境需确保至少 3 个节点，以满足副本跨节点存储的高可用要求
• 备份目标需提前配置（如 S3、NFS），并确保 Engine 有权限访问
• 存储介质推荐使用 SSD 以提升 IO 性能，尤其是数据库等 IO 密集型应用
• 定期监控卷状态（通过 Longhorn UI 或 Prometheus metrics），确保副本健康
• 升级 Longhorn 时需遵循官方升级指南，避免数据风险