polardbx/polardbx-engine

PolarDB-X 数据节点镜像文档

概述

PolarDB-X 数据节点镜像是分布式关系型数据库 PolarDB-X 的核心组件，作为集群中的数据存储与处理单元，负责实际数据的存储、读写操作及分布式事务执行。该镜像基于 PolarDB-X 分布式架构设计，与集群控制器（GMS）、计算节点（CN）协同工作，共同构建高可用、高扩展的分布式数据库系统。

核心功能与特性

1. 数据存储与管理

• 支持行存、列存等多种存储格式，适配不同查询场景
• 内置数据压缩与索引优化，提升存储效率与查询性能
• 提供数据备份与恢复机制，保障数据可靠性

2. 高可用架构

• 支持主从复制，自动故障检测与切换，RTO < 30秒
• 数据多副本存储，防止单点故障导致的数据丢失
• 兼容 PolarDB-X 集群级高可用策略，保障整体服务连续性

3. 弹性扩展能力

• 支持数据分片与动态扩缩容，可根据业务需求调整存储节点数量
• 支持分片迁移与负载均衡，扩展过程不影响业务连续性
• 适配 PolarDB-X 分布式调度系统，实现资源弹性分配

4. 分布式事务支持

• 兼容 XA 分布式事务协议，保证跨节点事务的 ACID 特性
• 支持 MVCC 并发控制，解决分布式场景下的读写冲突
• 提供事务隔离级别配置（读未提交、读已提交、可重复读）

使用场景与适用范围

典型应用场景

• 大规模数据存储：单集群支持 PB 级数据存储，满足企业级数据量需求
• 高并发读写业务：电商、***等核心交易系统，支持每秒数十万级读写请求
• 弹性扩展需求：业务数据量或访问量波动大，需动态调整存储资源的场景
• 分布式事务依赖：跨业务模块数据一致性要求高的复杂业务系统

适用规模

• 中小规模集群：3-10个数据节点，支持百万至千万级数据量
• 大规模集群：10+数据节点，支持亿级至 PB 级数据量

使用方法与配置说明

前置条件

• Docker 环境（20.10.0+）
• PolarDB-X 集群控制器（GMS）已部署并正常运行
• 网络环境：数据节点需与 GMS、计算节点（CN）互通，建议使用 Docker 网络或跨主机网络（如 Calico）

快速启动（docker run）

bash
docker run -d \
  --name polardbx-datanode-1 \
  --network polardbx-network \  # 与集群其他组件共享网络
  -p 3306:3306 \  # 数据库服务端口
  -v /data/polardbx/dn1:/var/lib/mysql \  # 持久化存储数据
  -e NODE_ID=1 \  # 数据节点唯一标识（需在集群内唯一）
  -e GMS_ADDR=polardbx-gms:3306 \  # GMS 控制器地址
  -e CLUSTER_NAME=polardbx-cluster \  # 集群名称
  -e STORAGE_ENGINE=innodb \  # 存储引擎（默认 InnoDB）
  polardbx/datanode:latest

环境变量配置

docker-compose 部署示例

yaml
version: '3.8'
services:
  datanode-1:
    image: docker.xuanyuan.run/polardbx/datanode:latest
    container_name: polardbx-datanode-1
    restart: always
    networks:
      - polardbx-net
    ports:
      - "3306:3306"
    volumes:
      - dn1-data:/var/lib/mysql
      - dn1-log:/var/log/mysql
    environment:
      - NODE_ID=1
      - GMS_ADDR=polardbx-gms:3306
      - CLUSTER_NAME=polardbx-prod
      - REPLICA_COUNT=2  # 2副本架构（1主1从）
      - STORAGE_ENGINE=innodb
      - LOG_LEVEL=INFO

  datanode-2:
    image: docker.xuanyuan.run/polardbx/datanode:latest
    container_name: polardbx-datanode-2
    restart: always
    networks:
      - polardbx-net
    ports:
      - "3307:3306"
    volumes:
      - dn2-data:/var/lib/mysql
      - dn2-log:/var/log/mysql
    environment:
      - NODE_ID=2
      - GMS_ADDR=polardbx-gms:3306
      - CLUSTER_NAME=polardbx-prod
      - REPLICA_COUNT=2
      - STORAGE_ENGINE=innodb

networks:
  polardbx-net:
    driver: bridge

volumes:
  dn1-data:
  dn1-log:
  dn2-data:
  dn2-log:

注意事项

1. 数据持久化：务必通过 -v 挂载宿主机目录或命名卷，避免容器重启导致数据丢失
2. 网络互通：数据节点需与 GMS、CN 节点在同一网络，确保端口（默认3306）可访问
3. 节点ID唯一性：同一集群内所有数据节点的 NODE_ID 必须唯一，建议从1开始顺序编号
4. 副本配置：生产环境建议设置 REPLICA_COUNT=2 或 3，提高数据可靠性
5. 资源配置：根据数据量与访问压力调整容器 CPU/内存限制（通过 --cpus、-m 参数）