corilus/cp-kafka-connect

cp-kafka-connect 镜像文档

镜像概述

cp-kafka-connect是一个用于部署和运行Kafka Connect的Docker镜像。Kafka Connect是Apache Kafka生态系统中的数据集成工具，旨在简化Kafka与外部系统（如数据库、文件系统、消息队列等）之间的数据导入/导出过程，支持构建可靠的数据管道。

核心功能和特性

• 便捷部署：通过Docker容器化方式快速部署Kafka Connect服务，简化环境配置流程。
• 数据集成：支持与多种外部系统建立连接，实现数据在Kafka与外部系统间的双向同步。
• 扩展性：可通过加载自定义连接器（Connector）扩展支持的数据源和目标系统类型。
• 标准化配置：提供统一的配置方式，便于管理Kafka Connect服务参数及连接器配置。

使用场景和适用范围

• 数据同步：需在Kafka与数据库（如MySQL、PostgreSQL）、文件存储（如S3、HDFS）或消息系统（如RabbitMQ）间进行数据实时同步的场景。
• 数据管道构建：数据工程师构建ETL（抽取-转换-加载）管道，实现数据从源头到目标系统的流转。
• 微服务集成：在微服务架构中，作为不同服务间数据传递的中间件，实现松耦合的数据交互。

使用方法和配置说明

基本运行命令

使用以下命令启动cp-kafka-connect容器，需指定Kafka集群地址等必要配置：

bash
docker run -d \
  --name kafka-connect \
  -e BOOTSTRAP_SERVERS=kafka-broker:9092 \
  -e GROUP_ID=connect-cluster \
  confluentinc/cp-kafka-connect:latest

关键环境变量说明

配置连接器

通过REST API配置连接器，例如创建一个文件源连接器：

bash
curl -X POST http://localhost:8083/connectors \
  -H "Content-Type: application/json" \
  -d '{
    "name": "file-source-connector",
    "config": {
      "connector.class": "FileStreamSource",
      "tasks.max": "1",
      "file": "/data/input.txt",
      "topic": "file-input-topic"
    }
  }'

Docker Compose示例

以下是使用Docker Compose部署Kafka Connect与Kafka集群的示例配置：

yaml
version: '3'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:latest
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000

  kafka:
    image: confluentinc/cp-kafka:latest
    depends_on:
      - zookeeper
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092,PLAINTEXT_HOST://localhost:29092
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1

  kafka-connect:
    image: confluentinc/cp-kafka-connect:latest
    depends_on:
      - kafka
    environment:
      BOOTSTRAP_SERVERS: kafka:9092
      GROUP_ID: connect-cluster
      CONFIG_STORAGE_TOPIC: connect-configs
      OFFSET_STORAGE_TOPIC: connect-offsets
      STATUS_STORAGE_TOPIC: connect-status
    ports:
      - "8083:8083"

启动服务：

bash
docker-compose up -d

注意事项

• 确保Kafka集群已提前创建CONFIG_STORAGE_TOPIC、OFFSET_STORAGE_TOPIC和STATUS_STORAGE_TOPIC主题，或配置Kafka自动创建主题。
• 自定义连接器需通过挂载卷的方式将JAR文件添加到容器的/usr/share/java/kafka-connect/目录下。
• 根据实际需求调整资源限制（如内存、CPU），避免因资源不足导致服务异常。