dhet/debezium-connect

Debezium Connect Docker镜像

镜像概述和主要用途

这是一个Debezium Docker镜像，完全可通过环境变量进行配置；无需手动向Connect的REST API提交连接器配置，简化了Debezium连接器的部署和自动化流程。

https://hub.docker.com/r/dhet/debezium-connect

核心功能和特性

• 基于官方https://hub.docker.com/r/debezium/connect%E6%9E%84%E5%BB%BA%EF%BC%8C%E6%94%AF%E6%8C%81%E6%89%80%E6%9C%89%E5%AE%98%E6%96%B9%E6%96%87%E6%A1%A3%E4%B8%AD%E5%88%97%E5%87%BA%E7%9A%84%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F
• 支持Kafka Connect的所有配置选项，通过CONNECT_前缀的环境变量进行设置（属性名中的点转换为下划线）
• 支持Debezium连接器的所有配置属性，通过DEBEZIUM_CONFIG_前缀的环境变量进行设置（可通过ENV_PREFIX环境变量修改前缀）
• 连接器名称可通过CONNECTOR_NAME环境变量指定（默认名称为"debezium"）
• 容器启动时自动从环境变量构建配置文件，并通过PUT请求提交到Connect REST API，支持幂等操作（首次请求创建连接器，后续请求覆盖配置）

使用场景和适用范围

• 需要自动化部署Debezium连接器的场景，避免手动REST API操作
• 云环境中Debezium的容器化部署
• 与Kafka、数据库（如PostgreSQL、MySQL等）集成的变更数据捕获（CDC）场景
• 需要通过环境变量管理配置的CI/CD流程

使用方法和配置说明

环境变量配置

基础配置

该镜像支持官方Debezium Connect镜像的所有环境变量，例如：

• CONFIG_STORAGE_TOPIC: 配置存储主题
• BOOTSTRAP_SERVERS: Kafka引导服务器地址
• OFFSET_STORAGE_TOPIC: 偏移量存储主题
• STATUS_STORAGE_TOPIC: 状态存储主题

Kafka Connect配置

所有Kafka Connect配置选项均支持，通过CONNECT_前缀的环境变量设置，属性名中的点转换为下划线。例如：

• CONNECT_SSL_TRUSTSTORE_LOCATION 对应配置 ssl.truststore.location=...
• CONNECT_KEY_CONVERTER 对应配置 key.converter=...

Debezium连接器配置

Debezium连接器的所有配置属性可通过环境变量设置，前缀默认为DEBEZIUM_CONFIG_（可通过ENV_PREFIX环境变量修改前缀），属性名中的点转换为下划线。例如：

• DEBEZIUM_CONFIG_CONNECTOR_CLASS 对应配置 connector.class=...
• DEBEZIUM_CONFIG_DATABASE_HOSTNAME 对应配置 database.hostname=...
• DEBEZIUM_CONFIG_DATABASE_PORT 对应配置 database.port=...

⚠️ 镜像无法识别无效属性，因此容易受到拼写错误的影响。它仅根据上述重命名规则转换环境变量。

连接器名称配置

连接器名称可通过CONNECTOR_NAME环境变量指定，默认名称为"debezium"。

部署示例

Docker Run命令示例

bash
docker run --rm -ti docker.xuanyuan.run/dhet/debezium-connect \
  -e BOOTSTRAP_SERVERS=kafka:29092 \
  -e CONFIG_STORAGE_TOPIC=debezium-config \
  -e OFFSET_STORAGE_TOPIC=debezium-offset \
  -e STATUS_STORAGE_TOPIC=debezium-status \
  -e DEBEZIUM_CONFIG_CONNECTOR_CLASS=io.debezium.connector.postgresql.PostgresConnector \
  -e DEBEZIUM_CONFIG_DATABASE_HOSTNAME=database \
  -e DEBEZIUM_CONFIG_DATABASE_PORT=5432 \
  -e DEBEZIUM_CONFIG_DATABASE_PASSWORD=postgres \
  -e DEBEZIUM_CONFIG_DATABASE_USER=postgres \
  -e DEBEZIUM_CONFIG_DATABASE_SERVER_NAME=postgres \
  -e DEBEZIUM_CONFIG_DATABASE_DBNAME=postgres

Docker Compose示例

查看示例文件夹获取Docker Compose示例。在该目录中运行docker-compose up将启动：

• 包含Zookeeper的单节点Kafka集群
• PostgreSQL数据库
• 监控数据库并将变更发布到Kafka的Debezium连接器

工作原理

设置Kafka连接器通常需要向连接器的REST API发送HTTP请求，这通常是手动步骤。API会将配置存储在日志压缩的Kafka主题中。因此，连接器本质上是有状态的，其部署自动化较为困难。

本镜像通过环境变量配置连接器来缓解此问题。容器启动时，会根据指定的环境变量构建配置文件，并将其PUT到API。这是一个幂等操作：首次请求将创建新连接器，后续所有请求将覆盖现有配置。因此，使用相同配置多次启动容器将始终产生相同效果。

⚠️ 镜像无法删除现有配置，因此当不再需要Debezium时，需通过https://docs.confluent.io/current/connect/references/restapi.html#delete--connectors-(string-name-)%E6%89%8B%E5%8A%A8%E6%B8%85%E7%90%86%E3%80%82