tensorchord/vchord-postgres Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

VectorChord 镜像文档

镜像概述

VectorChord（简称vchord）是一个PostgreSQL扩展，专为可扩展、高性能且磁盘高效的向量相似性搜索设计，是pgvecto.rs项目的继任者。该扩展基于Postgres存储系统构建，支持物理复制和WAL增量备份，能有效利用SSD资源降低内存需求，轻松处理数亿至数十亿级别的向量数据。

核心功能与特性

• 极速查询性能：在保持相同召回率的情况下，查询速度比pgvector的HNSW快3倍
• 高吞吐量更新：插入吞吐量比pgvector的HNSW快16倍
• 外部索引预计算：基于IVF架构，支持在外部（如GPU）进行KMeans聚类并无缝导入数据库
• 快速索引构建：使用预计算质心时，索引构建速度比pgvector HNSW快20倍（100万960维向量仅需1.5分钟）
• 高级量化技术：采用RaBitQ技术将浮点向量压缩为紧凑的位表示，并支持自动重排序
• 磁盘友好性能：在32GB内存下可查询laion-100M 768维向量，P50延迟35ms，recall@95%
• 无缝兼容性：兼容pgvector数据类型，同时提供更快的索引和查询性能
• 简单配置：无需调整量化或重排序参数，开箱即提供最佳默认值

使用场景与适用范围

适用于需要向量相似性搜索的各类应用场景，包括但不限于：

• 推荐系统（商品、内容推荐）
• 语义搜索（文本、文档检索）
• 图像/视频检索
• 生物信息学数据分析
• 大规模嵌入向量存储与查询（数亿至数十亿级向量数据）

特别适合资源受限环境下的大规模向量处理，可在AWS i4i.xlarge（4 vCPUs、32GB RAM）等中端配置服务器上高效运行。

详细使用方法

快速开始（Docker）

使用以下命令启动VectorChord容器：

bash
docker run \
  --name vectorchord-demo \
  -e POSTGRES_PASSWORD=mysecretpassword \
  -p 5432:5432 \
  -d tensorchord/vchord-postgres:pg17-v0.1.0

连接数据库

通过psql连接到数据库：

bash
psql -h localhost -p 5432 -U postgres

启用扩展

运行以下SQL启用vchord扩展：

sql
CREATE EXTENSION IF NOT EXISTS vchord CASCADE;

配置共享预加载库

将vchord.so添加到postgresql.conf的shared_preload_libraries：

sql
-- 添加vchord到shared_preload_libraries
ALTER SYSTEM SET shared_preload_libraries = 'vchord.so';

创建VectorChord索引

创建VectorChord RaBitQ(vchordrq)索引：

sql
CREATE INDEX ON gist_train USING vchordrq (embedding vector_l2_ops) WITH (options = $
residual_quantization = true
[build.internal]
lists = [4096]
spherical_centroids = false
$);

查询操作

查询语句与pgvector完全相同，支持任何过滤操作及WHERE/JOIN子句：

sql
SELECT * FROM items ORDER BY embedding <-> '[3,1,2]' LIMIT 5;

支持的距离函数：

• <-> - L2距离
• <#> - （负）内积
• <=> - 余弦距离

查询性能调优

可通过调整probes和epsilon参数优化搜索性能：

sql
-- 设置probes控制扫描的列表数量，建议值为总lists的3%–10%
SET vchordrq.probes = 100;

-- 设置epsilon控制重排序精度，值越大召回率越高
-- 建议范围：1.0–1.9，默认值为1.9
SET vchordrq.epsilon = 1.9;

-- 配置预加载维度以减少延迟，需要重启数据库生效
-- 默认值：'64,128,256,384,512,768,1024,1536'
ALTER SYSTEM SET vchordrq.prewarm_dim = '64,128,256,384,512,768,1024,1536';

PostgreSQL性能调优设置：

sql
-- 使用SSD时，设置effective_io_concurrency为200以加快磁盘I/O
SET effective_io_concurrency = 200;

-- 禁用JIT编译（收益有限且增加单查询开销）
SET jit = off;

-- 分配至少25%的总内存给shared_buffers，磁盘密集型工作负载可增至90%
-- 需要重启数据库生效
ALTER SYSTEM SET shared_buffers = '8GB';

索引预热

通过以下SQL预热索引，在内存有限时显著提升性能：

sql
-- 将索引预热到共享缓冲区
SELECT vchordrq_prewarm('gist_train_embedding_idx'::regclass);

索引构建时间优化

索引构建支持并行化，通过以下设置优化并行度：

sql
-- 设置为可用CPU核心数
SET max_parallel_maintenance_workers = 8;
SET max_parallel_workers = 8;

-- 调整工作进程总数，需要重启数据库生效
ALTER SYSTEM SET max_worker_processes = 8;

外部索引预计算

对于大型数据集（>500万向量），建议使用外部索引预计算：

1. 使用faiss、scikit-learn等工具在外部（如GPU）进行向量聚类
2. 将质心插入PostgreSQL表：

sql
-- 创建质心表
CREATE TABLE public.centroids (id integer NOT NULL UNIQUE, parent integer, vector vector(768));

-- 插入质心数据
INSERT INTO public.centroids (id, parent, vector) VALUES 
(1, NULL, '{0.1, 0.2, 0.3, ..., 0.768}'),
(2, NULL, '{0.4, 0.5, 0.6, ..., 0.768}'),
(3, NULL, '{0.7, 0.8, 0.9, ..., 0.768}');
-- ...更多质心

3. 使用外部质心表创建索引：

sql
CREATE INDEX ON gist_train USING vchordrq (embedding vector_l2_ops) WITH (options = $
[build.external]
table = 'public.centroids'
$);

从源码安装

1. 按照pgrx指南安装pgrx：

bash
cargo install --locked cargo-pgrx
cargo pgrx init --pg17 $(which pg_config)  # 使用系统PostgreSQL初始化
cargo pgrx install --release --sudo        # 安装扩展到系统PostgreSQL

限制

• 数据类型支持：目前仅支持f32数据类型的向量
• 架构兼容性：快速扫描内核针对x86_64架构优化，在aarch64上可运行但性能可能降低
• KMeans聚类：内置KMeans聚类尚未完全优化，可能需要大量内存，强烈建议使用外部质心预计算

许可证

本项目采用GNU Affero General Public License v3.0许可协议。商业许可请联系***。