cubejs/cubestore

Cube Store

官网 • 文档 • 示例 • 博客 • Slack • ***

 ![FOSSA Status]([]

镜像概述与主要用途

Cube Store 是 Cube.js 的预聚合存储层，专为解决关系数据库作为预聚合存储时的性能和功能问题而设计。它通过原生技术栈优化大规模汇总表的存储与服务能力，旨在成为 Cube.js 默认的预聚合存储层，替代传统关系数据库（如 MySQL、Postgres）处理高基数、高并发的预聚合数据场景。

核心功能与特性

解决的核心问题

• 高基数汇总性能：优化 10 亿+ 级高基数汇总表的存储与查询性能
• 功能扩展：原生支持 HyperLogLog 算法，满足基数估算需求
• 查询优化：提升大型 UNION ALL 查询和跨汇总表 JOIN 操作的执行效率
• 兼容性增强：解决不同数据库类型间表/ schema 名称长度限制及 SQL 类型差异问题

技术架构

• 开发语言：采用 Rust 开发，保障高性能与内存安全
• 存储引擎：集成 RocksDB、Apache Parquet 和 Arrow 等成熟数据处理技术，优化数据存取效率
• 开源许可：完全开源，基于 Apache 2.0 许可协议

使用场景与适用范围

Cube Store 适用于需要处理大规模预聚合数据的 Cube.js 应用场景，尤其适合：

• 高基数汇总表（10 亿+ 记录）的存储与查询
• 需频繁执行复杂 JOIN 或 UNION ALL 操作的分析场景
• 对预聚合数据查询性能有严格要求的生产环境
• 希望替代传统关系数据库作为预聚合存储层，避免数据库兼容性问题的场景

支持的架构与平台

若您的平台/架构未被直接支持，可通过 Docker 启动 Cube Store。

[1] 可通过 Rosetta 2 借助 x86_64-apple 二进制文件启动。

使用方法与配置说明

与 Cube.js 集成

版本要求

• v0.26.48 及以上：Cube.js 默认启用 Cube Store（需设置 CUBEJS_DEV_MODE=true），无需配置 CUBEJS_EXT_DB_* 环境变量或 cube.js 中的 externalDriverFactory。
• v0.26.48 以下：需升级至最新版本并安装 Cube Store 驱动：

bash
yarn add @cubejs-backend/cubestore-driver

启动验证

Cube.js 启动后将输出以下日志，表明 Cube Store 已成功运行：

🔥 Cube Store (0.26.64) is assigned to 3030 port.

Docker 部署

独立容器部署

通过 Docker 容器启动 Cube Store 并绑定 3030 端口：

bash
docker run -d -p 3030:3030 cubejs/cubestore:edge

Docker Compose 部署

创建 docker-compose.yml 文件：

yaml
version: '2.2'
services:
  cubestore:
    image: cubejs/cubestore:edge

  cube:
    image: cubejs/cube:latest
    ports:
      - 4000:4000  # Cube.js API 与开发者控制台
      - 3000:3000  # 仪表盘应用（若创建）
    env_file: .env
    depends_on:
      - cubestore
    links:
      - cubestore
    volumes:
      - ./schema:/cube/conf/schema

环境变量配置

在 Cube.js 应用的 .env 文件中配置 Cube Store 连接：

dotenv
# 指定外部数据库类型为 Cube Store
CUBEJS_EXT_DB_TYPE=cubestore
# Cube Store 服务地址（Docker Compose 部署时使用服务名）
CUBEJS_EXT_DB_HOST=cubestore
# 可选：指定 Cube Store 端口（默认 3030）
# CUBEJS_EXT_DB_PORT=3030

构建与开发

构建镜像

bash
# 构建 Docker 镜像
docker build -t cubejs/cubestore:latest .

# 运行镜像
docker run --rm cubejs/cubestore:latest

开发环境依赖

Debian 系统需安装以下依赖：

bash
apt-get install lld libssl-dev pkg-config cmake

代码开发配置

若需修改 Arrow 或 Datafusion 依赖，需在项目 Cargo.toml 中添加本地路径补丁（示例）：

toml
[patch.'https://github.com/cube-js/arrow-rs']
parquet = { path = "../../../arrow-rs/parquet" }
arrow = { path = "../../../arrow-rs/arrow" }

[patch.'https://github.com/cube-js/arrow-datafusion']
datafusion = { path = "../../../arrow-datafusion/datafusion" }

路径可根据本地代码 checkout 位置调整。

许可证

Cube Store 基于 https://github.com/cube-js/cube.js/blob/master/cubestore/LICENSE 开源。