loyaltyone/kafka-connect

Kafka Connect镜像（AWS ECS适配版）

镜像概述

本镜像基于Confluent官方Kafka Connect组件构建，新增了引导脚本，专门适配Amazon ECS环境，可帮助用户快速部署安全、可靠的Kafka集群及数据同步服务。配套提供Cloudformation模板与部署脚本，简化云环境下的集群搭建流程。

核心功能

1. 集成Confluent Kafka Connect核心能力，支持多数据源的数据导入/导出与实时同步
2. 内置引导脚本，适配AWS ECS集群的运行要求，降低容器化部署门槛
3. 提供Cloudformation模板与部署脚本，支持快速搭建高可用Kafka集群
4. 兼容AWS云服务生态，便于结合ECS、S3等资源实现企业级数据管道

使用场景

1. 企业在AWS ECS环境中搭建Kafka Connect服务，实现跨系统数据同步
2. 需要快速部署安全Kafka集群的云原生应用场景
3. 利用AWS资源构建高可用、可扩展的数据传输管道

配置说明

具体部署与监控配置细节，请参考项目Wiki文档：https://github.com/LoyaltyOne/kafka-infra/wiki%EF%BC%8C%E5%8C%85%E6%8B%ACECS%E9%9B%86%E7%BE%A4%E5%8F%82%E6%95%B0%E8%AE%BE%E7%BD%AE%E3%80%81Kafka%E8%8A%82%E7%82%B9%E9%85%8D%E7%BD%AE%E3%80%81%E7%9B%91%E6%8E%A7%E6%8C%87%E6%A0%87%E9%85%8D%E7%BD%AE%E7%AD%89%E5%86%85%E5%AE%B9%E3%80%82

部署示例

Docker Run快速启动

bash
docker run -d \
  --name kafka-connect \
  -e AWS_REGION=cn-northwest-1 \
  -e KAFKA_BOOTSTRAP_SERVERS=kafka-cluster:9092 \
  loyaltyone/kafka-connect

AWS Cloudformation部署

参考项目中的Cloudformation模板文件，通过AWS CLI执行部署：

bash
aws cloudformation create-stack \
  --stack-name kafka-ecs-cluster \
  --template-body file://kafka-ecs-stack.yml \
  --parameters ParameterKey=ClusterName,ParameterValue=my-kafka-cluster \
  --region cn-northwest-1