landoop/fast-data-dev-connect-cluster

kafka-connect-cluster

镜像概述和主要用途

kafka-connect-cluster是一个用于设置Kafka Connect集群的Docker镜像，属于fast-data-dev项目的一部分，主要面向高级用户。该镜像不负责设置Kafka集群，而是需要配合已运行的Kafka集群和Schema Registry使用，用户可通过启动多个容器来构建分布式的Kafka Connect集群。

核心功能和特性

• 支持通过多个容器构建分布式Kafka Connect集群
• 通过环境变量灵活配置连接参数，无需手动修改配置文件
• 可自定义Connect实例的端口和主机地址
• 与fast-data-dev生态集成，支持Connect UI监控

使用场景和适用范围

适用于需要部署Kafka Connect集群的高级用户场景，用于连接已有的Kafka集群，实现数据在Kafka与其他系统间的导入/导出等连接器操作。典型应用包括数据库数据同步、文件导入导出、消息系统集成等数据流转场景。

使用方法和配置说明

基本使用示例

使用--net=host模式运行

bash
docker run -d --net=host \
       -e ID=01 \
       -e BS=broker1:9092,broker2:9092 \
       -e ZK=zk1:2181,zk2:2181 \
       -e SR=http://schema-registry:8081 \
       -e HOST=<IP或域名> \
       landoop/fast-data-dev-connect-cluster

不使用--net=host模式运行

当不使用--net=host时，需暴露Connect端口（默认8083），若自定义端口需确保端口映射一致：

bash
docker run -d \
       -e ID=01 \
       -e BS=broker1:9092,broker2:9092 \
       -e ZK=zk1:2181,zk2:2181 \
       -e SR=http://schema-registry:8081 \
       -e HOST=<IP或域名> \
       -e PORT=8085 \
       -p 8085:8085 \
       landoop/fast-data-dev-connect-cluster

Docker Compose示例

可参考项目中的docker-compose.yml文件，典型配置会包含：

• 一个fast-data-dev容器作为Kafka栈
• 3个fast-data-dev-connect-cluster容器组成Connect集群
• 一个Connect UI（端口8000）用于监控集群

配置参数说明

环境变量

注意事项

1. Schema Registry URL：必须提供完整URL（包含http://），否则无法正常连接。
2. ID唯一性：必须保证ID在当前和历史所有Connect集群实例中唯一，避免数据冲突。
3. HOST设置：应设为其他实例和客户端可访问的IP/域名，如本地网络IP（10.240.0.2）、公网IP或可解析的域名。
4. 端口映射：自定义PORT时，需确保容器端口与主机端口一致（如-e PORT=8085 -p 8085:8085）。

高级问题

• 容器退出：容器不会通过CTRL+C退出，需通过docker logs <容器ID>查看日志，通过其他终端使用docker stop <容器ID>或docker kill <容器ID>停止。
• 版本绑定：当前镜像绑定到landoop/fast-data-dev:latest（基于Confluent Platform 3.1.2），未来可能提供更多版本。
• 连接器加载：Connect集群启动后，连接器需几分钟时间加载，可通过Connect UI（端口8000）或fast-data-dev的3030端口（查看 schema和主题）验证。