codexstorage/nim-codex

Decentralized Durability Engine 镜像文档

镜像概述

Decentralized Durability Engine（去中心化持久性引擎）是一款专为分布式系统设计的容器化工具，旨在通过去中心化架构解决分布式环境下的数据持久性、可靠性和高可用性挑战。该引擎消除单点故障风险，实现数据在多节点间的自动冗余存储、故障检测与恢复，确保数据在分布式系统中持久化且可访问，适用于各类需要强数据可靠性的分布式场景。

核心功能与特性

去中心化架构

• 无中心节点设计，数据分布式存储于多个独立节点，避免单点故障导致的整体服务中断
• 对等节点（P2P）通信模式，节点间自主协同完成数据管理与故障处理

数据可靠性保障

• 可配置数据副本机制（Replication Factor），支持自定义副本数量（默认3副本），确保数据冗余存储
• 基于分布式一致性协议（如Raft/Paxos变体）实现跨节点数据一致性，保障数据读写准确性
• 自动故障检测与恢复：实时监控节点状态，异常节点下线后自动触发数据副本重建，维持预设冗余水平

可扩展性与灵活性

• 支持动态节点扩缩容：新增节点自动加入集群并参与数据存储，下线节点不影响整体数据可用性
• 适配多种网络环境：兼容局域网、广域网及边缘计算场景，支持跨地域节点部署

容器化优化

• 轻量级镜像设计，启动速度快，资源占用低，可快速集成到现有容器化/云原生架构
• 标准化配置接口，支持通过环境变量、配置文件或API动态调整参数

使用场景与适用范围

分布式系统数据持久化

• 分布式数据库/消息队列的底层存储引擎，确保集群数据持久化与高可用
• 云原生应用状态存储，为微服务/Serverless架构提供可靠的状态数据持久化方案

去中心化存储场景

• ***网络账本数据存储，支持分布式账本的冗余备份与一致性维护
• 去中心化文件系统底层引擎，实现文件数据的分片存储与冗余恢复

边缘计算与物联网

• 边缘节点数据本地化存储与跨节点同步，适应边缘环境网络不稳定特性
• 物联网设备集群数据持久化，保障设备离线后数据不丢失，恢复后自动同步

使用方法与配置说明

快速启动（单节点测试）

通过以下命令启动单个节点实例（仅用于功能测试，生产环境需多节点集群部署）：

bash
docker run -d \
  --name dde-test-node \
  -p 8080:8080 \
  -v /host/test-data:/app/data \
  -e DDE_NODE_ID=test-node-1 \
  -e DDE_REPLICATION_FACTOR=1 \
  decentralized-durability-engine:latest

参数说明：

• -p 8080:8080：映射节点通信端口（容器内默认端口8080）
• -v /host/test-data:/app/data：挂载主机目录作为节点本地数据存储卷（需替换为实际主机路径）
• DDE_NODE_ID：节点唯一标识符（必填，集群内不可重复）
• DDE_REPLICATION_FACTOR：数据副本数量（测试环境可设为1，生产环境建议≥3）

多节点集群部署（Docker Compose）

以下为3节点本地集群部署示例（生产环境需根据实际节点数量调整）：

yaml
version: '3.8'
services:
  node1:
    image: decentralized-durability-engine:latest
    container_name: dde-node-1
    ports:
      - "8081:8080"
    volumes:
      - ./node1-data:/app/data
    environment:
      - DDE_NODE_ID=node-1
      - DDE_PEERS=node-2:8080,node-3:8080
      - DDE_REPLICATION_FACTOR=3
      - DDE_PORT=8080
    restart: unless-stopped

  node2:
    image: decentralized-durability-engine:latest
    container_name: dde-node-2
    ports:
      - "8082:8080"
    volumes:
      - ./node2-data:/app/data
    environment:
      - DDE_NODE_ID=node-2
      - DDE_PEERS=node-1:8080,node-3:8080
      - DDE_REPLICATION_FACTOR=3
      - DDE_PORT=8080
    restart: unless-stopped

  node3:
    image: decentralized-durability-engine:latest
    container_name: dde-node-3
    ports:
      - "8083:8080"
    volumes:
      - ./node3-data:/app/data
    environment:
      - DDE_NODE_ID=node-3
      - DDE_PEERS=node-1:8080,node-2:8080
      - DDE_REPLICATION_FACTOR=3
      - DDE_PORT=8080
    restart: unless-stopped

启动集群：

bash
# 创建节点数据目录
mkdir -p node1-data node2-data node3-data
# 启动集群
docker-compose up -d

核心配置参数

数据持久化配置

为确保节点重启后数据不丢失，必须通过卷（Volume）挂载主机目录到容器内数据存储路径（默认/app/data或DDE_DATA_DIR指定路径）：

bash
# 示例：使用命名卷而非主机目录（更适合生产环境）
docker volume create dde-node-data
docker run -d \
  --name dde-prod-node \
  -v dde-node-data:/app/data \  # 挂载命名卷
  -e DDE_NODE_ID=prod-node-01 \
  ...（其他参数）
  decentralized-durability-engine:latest

注意事项

• 集群部署要求：生产环境集群节点数建议≥3，且副本数量（Replication Factor）≤节点数，确保多数副本可用以维持数据一致性
• 网络配置：需开放节点间通信端口（默认8080），确保节点间网络互通（可通过docker network create创建专用桥接网络）
• 性能优化：高IO场景建议使用SSD存储卷，并根据数据量调整节点资源（CPU/内存）限制
• 监控与维护：通过docker logs <container-id>查看节点日志，重点关注[SYNC]（数据同步）和[HEALTH]（节点健康）相关日志排查问题
• 版本兼容性：升级镜像前需查阅版本变更说明，跨版本升级可能需要执行数据迁移脚本