debezium/postgres

Debezium PostgreSQL镜像

镜像概述

本镜像仓库已迁移至quay.io/debezium/postgres。该镜像基于https://hub.docker.com/_/postgres/%E6%9E%84%E5%BB%BA%EF%BC%8C%E4%B8%93%E4%B8%BADebezium%E5%8F%98%E6%9B%B4%E6%95%B0%E6%8D%AE%E6%8D%95%E8%8E%B7(CDC)%E8%AE%BE%E8%AE%A1%EF%BC%8C%E6%89%A9%E5%B1%95%E4%BA%86PostgreSQL%E7%9A%84%E9%80%BB%E8%BE%91%E8%A7%A3%E7%A0%81%E5%8A%9F%E8%83%BD%EF%BC%8C%E4%BD%BF%E5%85%B6%E8%83%BD%E4%B8%8EDebezium%E7%94%9F%E6%80%81%E9%9B%86%E6%88%90%E3%80%82

PostgreSQL的逻辑解码功能允许客户端提取数据库表的所有持久化变更，转换为易于理解的格式。本镜像通过添加特定插件，使Debezium能够捕获这些变更并传输到Kafka。

核心功能与特性

• 基础镜像：基于轻量级的postgres:11-alpine构建
• 逻辑解码插件：
  • postgres-decoderbufs：基于Protocol Buffers，由Debezium社区维护
  • wal2json：基于JSON格式，由wal2json社区维护
• Debezium兼容性：支持Debezium PostgreSQL Connector，可将数据库变更事件记录到Kafka主题
• 默认插件支持：兼容Postgres 10及以上版本默认提供的pgoutput插件
• 预配置逻辑解码：示例配置已启用逻辑解码功能，包含必要的复制槽设置

什么是Debezium？

Debezium是一个分布式平台，可将现有数据库转换为事件流，使应用程序能快速响应数据库的行级变更。它构建在Kafka之上，提供与Kafka Connect兼容的连接器，用于监控特定数据库管理系统。Debezium将数据变更历史记录在Kafka日志中，确保应用程序可随时停止和重启，并能消费所有错过的事件，保证事件处理的准确性和完整性。

运行Debezium需要Zookeeper、Kafka以及运行Debezium连接器的服务。简单评估和实验可在单台主机上运行所有服务；生产环境则需部署多实例以确保性能、可靠性和容错能力，可通过OpenShift等平台管理多主机上的Docker容器。注意：Kafka在Docker容器中运行存在局限性，高吞吐量场景建议按Kafka文档在专用硬件上部署。

使用方法

基本使用

本镜像的使用方式与https://hub.docker.com/_/postgres/%E7%B1%BB%E4%BC%BC%EF%BC%8C%E4%BD%86%E5%B7%B2%E9%A2%84%E9%85%8D%E7%BD%AE%E9%80%BB%E8%BE%91%E8%A7%A3%E7%A0%81%E5%8A%9F%E8%83%BD%EF%BC%8C%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6%E8%B7%AF%E5%BE%84%E4%B8%BA%60/usr/share/postgresql/postgresql.conf.sample%60%E3%80%82

核心配置说明

配置文件关键内容如下：

# LOGGING
log_min_error_statement = fatal

# CONNECTION
listen_addresses = '*'

# MODULES
shared_preload_libraries = 'decoderbufs'  # 加载Debezium的逻辑解码插件

# REPLICATION
wal_level = logical             # 启用逻辑解码（修改需重启）
max_wal_senders = 1             # 最大walsender进程数（修改需重启）
#wal_keep_segments = 4          # 日志文件段数量，每段16MB；0表示禁用
#wal_sender_timeout = 60s       # 超时时间（毫秒）；0表示禁用
max_replication_slots = 1       # 最大复制槽数量（修改需重启）

该配置启用了逻辑解码功能，加载decoderbufs插件，并配置了供Debezium PostgreSQL Connector使用的复制槽。

启动示例

可使用与标准PostgreSQL镜像相同的方式启动，例如：

bash
docker run -d --name debezium-postgres -e POSTGRES_PASSWORD=postgres quay.io/debezium/postgres

启动后，可通过修改postgresql.conf调整配置，或通过环境变量自定义参数。

适用场景

• 数据库变更数据捕获(CDC)
• 实时数据同步到Kafka
• 事件驱动架构中的数据变更事件源
• 数据库历史变更审计与追踪
• 微服务间的数据一致性维护