ucalgary/bottledwater

Bottled Water for PostgreSQL镜像说明

镜像概述

Bottled Water是一款针对PostgreSQL的开源数据导出工具，利用PostgreSQL 9.4+的逻辑解码功能，提取数据库的一致性快照和实时变更流，将数据编码为Avro格式后发送到Kafka。该工具可用于构建实时数据管道，支持与搜索索引、缓存系统、数据仓库等多种系统集成。

核心功能

• 广泛兼容：支持所有PostgreSQL 9.4及以上版本，无数据库 schema 限制。
• 无侵入性：无需修改现有 schema、添加触发器或额外表（仅需安装PostgreSQL扩展）。
• 低性能影响：对数据库运行性能的影响可忽略不计。
• 事务一致性：仅输出已提交的事务，且保持事务提交顺序，避免数据乱序。
• 高容错性：进程崩溃、机器故障或网络中断时，不会丢失数据，恢复后可继续同步。

使用场景

• 实时同步PostgreSQL数据到Kafka，构建实时分析管道。
• 为Elasticsearch等搜索服务提供实时数据源。
• 更新Redis等缓存系统，保持数据一致性。
• 加载数据到数据仓库，支持离线分析。
• 实时监控数据变更，用于欺诈检测或业务告警。

配置说明

PostgreSQL配置

1. 修改postgresql.conf文件：

   wal_level = logical
   max_wal_senders = 8
   wal_keep_segments = 4
   max_replication_slots = 4
   

2. 修改pg_hba.conf添加复制权限（替换<user>为实际用户名）：

   local   replication     <user>                 trust
   host    replication     <user>  127.0.0.1/32   trust
   host    replication     <user>  ::1/128        trust
   

3. 重启PostgreSQL并启用扩展：

   sql
   create extension bottledwater;
   

Kafka与Schema Registry配置

确保Kafka和Confluent Schema Registry服务已正常运行（可参考Confluent官方Quickstart文档）。

Docker部署示例

前提条件

安装Docker和Docker Compose。

构建镜像

bash
make docker-compose

启动基础服务

bash
export KAFKA_ADVERTISED_HOST_NAME=$(docker run --rm debian:jessie ip route | awk '/^default via / { print $3 }') \
       KAFKA_LOG_CLEANUP_POLICY=compact \
       KAFKA_AUTO_CREATE_TOPICS_ENABLE=true
docker-compose up -d kafka schema-registry postgres

初始化数据库

bash
docker-compose run --rm psql

在psql终端执行：

sql
create extension bottledwater;
create table test (id serial primary key, value text);
insert into test (value) values('hello world!');

启动Bottled Water客户端

bash
docker-compose up -d bottledwater-avro

消费Kafka数据

bash
docker-compose run --rm kafka-avro-console-consumer \
    --from-beginning --property print.key=true --topic test

清理资源

bash
docker-compose stop
docker-compose rm -vf