toonstore/toonstoredb

ToonStoreDB

⚠️ 非生产就绪 - v0.1 Alpha ⚠️

一款支持Redis兼容协议的极速嵌入式数据库，基于Rust构建。

ToonStoreDB是高性能键值存储系统，融合了嵌入式数据库的速度（5.28M ops/sec）与Redis兼容的便利性。既可作为嵌入式库实现极致性能，也可作为Redis兼容服务器供多语言访问。

🎯 TOON格式是什么？

TOON（Token-Oriented Object Notation） 是专为AI与LLM时代设计的紧凑、人类可读数据格式。在Token成本与上下文窗口受限的场景下，TOON比JSON节省40-60%的Token，同时保持更高的LLM理解准确率。

AI时代选择TOON的原因

• 🤖 LLM优化：LLM理解基准测试中准确率达74%（JSON为70%）
• 💰成本高效：减少约40% Token = AI应用API成本降低40%
• 📊 schema感知：显式[N]长度与{fields}头帮助LLM可靠解析数据
• 🔄 JSON兼容：无损往返编码相同对象、数组与原语
• 👁️人类可读：兼具YAML的可读性与CSV的紧凑性

TOON vs JSON示例

JSON（22,250 Token）：

json
{
  "metrics": [
    {"date": "2025-01-01", "views": 5715, "clicks": 211, "conversions": 28, "revenue": 7976.46},
    {"date": "2025-01-02", "views": 7103, "clicks": 393, "conversions": 28, "revenue": 8360.53}
  ]
}

TOON（9,120 Token - 减少59%）：

metrics[2]{date,views,clicks,conversions,revenue}:
  2025-01-01,5715,211,28,7976.46
  2025-01-02,7103,393,28,8360.53

🎯 ToonStoreDB核心功能

1. 极致性能：嵌入式模式缓存读取达5.28M ops/sec，比网络数据库快66倍
2. TOON格式存储：Token高效，适配AI/LLM场景
3. Redis兼容：支持所有Redis客户端（Node.js、Python、Go等）
4. 双模式运行：嵌入式库（Rust直接集成）或网络服务器
5. LRU缓存：自动缓存热点数据，默认容量***项
6. 数据持久化：磁盘存储TOON格式数据，重启不丢失
7. 跨平台：支持Linux、Windows、macOS（amd64/arm64）

📦 Docker部署示例

快速启动

bash
# 拉取镜像
docker pull docker.xuanyuan.run/toonstore/toonstoredb:latest

# 运行容器
docker run -d \
  --name toonstore \
  -p 6379:6379 \
  -v toonstore_data:/data \
  docker.xuanyuan.run/toonstore/toonstoredb:latest

# 测试连接
redis-cli -h 127.0.0.1 -p 6379 PING
# 输出：PONG

# 使用示例
redis-cli -h 127.0.0.1 -p 6379
127.0.0.1:6379> SET mykey "Hello World"
OK
127.0.0.1:6379> GET mykey
"Hello World"

Docker Compose

yaml
# docker-compose.yml
version: '3'
services:
  toonstore:
    image: docker.xuanyuan.run/toonstore/toonstoredb:latest
    ports:
      - "6379:6379"
    volumes:
      - toonstore_data:/data
    restart: always
volumes:
  toonstore_data:

运行命令：

bash
docker-compose up -d

🔌 应用连接示例

Node.js

javascript
const redis = require('redis');
const client = redis.createClient({ url: 'redis://localhost:6379' });
await client.connect();
await client.set('user:1', 'John Doe');
const user = await client.get('user:1');
console.log(user); // "John Doe"

Python

python
import redis
client = redis.from_url('redis://localhost:6379')
client.set('user:1', 'John Doe')
user = client.get('user:1')
print(user)  # b'John Doe'

🛠️ 配置说明

服务器选项

bash
tstd \
  --bind 0.0.0.0:6379 \  # 绑定地址
  --data ./data \         # 数据目录
  --capacity 10000        # 缓存容量

环境变量

bash
RUST_LOG=info  # 日志级别（info/debug/trace）

📈 使用场景

• 🤖 AI/LLM应用：Token高效存储嵌入向量、提示词与上下文
• 🚀 高性能缓存：嵌入式模式达5.28M ops/sec
• 📦 Rust应用嵌入式数据库
• 🔄 Redis替代方案：更高性能与效率
• 💾 Token敏感型键值存储：降低存储与传输成本约40%

📜 许可证

ToonStoreDB基于MIT许可证开源。