debezium/server

Debezium Server 镜像文档

镜像概述

本仓库已迁移至 quay.io/debezium/server。

什么是 Debezium？

Debezium 是一个分布式平台，可将现有数据库转换为事件流，使应用程序能够快速响应数据库中的每一行级变更。

什么是 Debezium Server？

Debezium 可作为 Kafka Connect 集群中的连接器实例部署，或作为独立应用程序——Debezium Server 部署。Debezium Server 是基于 Quarkus 的高性能应用程序，可将数据从数据库流式传输到支持的目标系统或用户开发的目标。Debezium Server 支持多种转换器，提供不同的输出消息格式。

核心功能和特性

• 独立运行时，无需依赖 Kafka Connect 集群
• 基于 Quarkus，具备高性能和低资源占用特性
• 支持多种数据库作为数据源
• 支持多种目标系统（sink）作为数据接收端
• 提供多种消息格式转换器
• 灵活的配置方式（环境变量或配置文件）

使用场景和适用范围

• 数据库变更捕获（CDC）场景
• 实时数据同步与集成
• 事件驱动架构中的数据变更事件生成
• 需要将数据库变更实时传输到消息队列、数据仓库等系统的场景

使用方法和配置说明

基本要求

该镜像依赖源系统（数据库）和目标系统（sink），分别用于读取数据和写入输出消息。

配置方式

应用可通过环境变量或通过卷挂载的 application.properties 文件进行配置。

启动 Debezium Server 实例

bash
$ docker run -it --name debezium -p 8080:8080 -v $PWD/conf:/debezium/conf -v $PWD/data:/debezium/data debezium/server

完整示例

步骤 1：启动 PostgreSQL 源数据库

bash
$ docker run -d --name postgres -p 5432:5432 -e POSTGRES_USER=postgres -e POSTGRES_PASSWORD=postgres debezium/example-postgres

步骤 2：启动 Apache Pulsar 目标系统

bash
$ docker run -d --name pulsar -p 6650:6650 -p 7080:8080 apachepulsar/pulsar:2.5.2 bin/pulsar standalone

步骤 3：等待 Pulsar 启动完成

bash
$ docker logs -f pulsar

步骤 4：准备 Debezium Server 部署配置

bash
$ mkdir {data,conf}; chmod 777 {data,conf}
$ cat <<-EOF > conf/application.properties
debezium.sink.type=pulsar
debezium.sink.pulsar.client.serviceUrl=pulsar://pulsar:6650
debezium.source.connector.class=io.debezium.connector.postgresql.PostgresConnector
debezium.source.offset.storage.file.filename=data/offsets.dat
debezium.source.offset.flush.interval.ms=0
debezium.source.database.hostname=postgres
debezium.source.database.port=5432
debezium.source.database.user=postgres
debezium.source.database.password=postgres
debezium.source.database.dbname=postgres
debezium.source.database.server.name=tutorial
debezium.source.schema.whitelist=inventory
debezium.source.plugin.name=pgoutput
EOF

注意：配置文件中的属性可通过环境变量替换，格式为将属性名转为大写并将点替换为下划线，例如 debezium.sink.type 对应环境变量 DEBEZIUM_SINK_TYPE。

步骤 5：启动 Debezium Server

bash
$ docker run -it --name debezium -p 8080:8080 -v $PWD/conf:/debezium/conf -v $PWD/data:/debezium/data --link postgres --link pulsar debezium/server

环境变量

JAVA_OPTS

传递给 java 命令的参数，可用于调整 JVM 内存设置等。

DEBEZIUM_OPTS

与 JAVA_OPTS 用途相同，用于逻辑分离 Debezium Server 特定的配置。

源/目标系统配置选项

application.properties 中的所有配置选项都可通过环境变量添加或覆盖，这是通过 Debezium Server 中的 https://github.com/eclipse/microprofile-config 实现的。

端口

容器暴露端口 8080，用于访问 https://github.com/eclipse/microprofile-health 端点。

卷

/debezium/conf

存放配置文件（主要是 application.properties）的卷。

/debezium/data

存放数据文件（主要是文件偏移存储）的卷。