mosman128/kafka-connect-bigquery

Kafka Connect BigQuery镜像说明

镜像概述

本镜像基于Kafka Connect框架，预集成了WePay开源的kafka-connect-bigquery连接器，旨在快速实现Kafka集群与Google BigQuery之间的数据同步，降低配置复杂度，适用于数据仓库ETL、实时分析等场景。

核心功能

1. 支持将Kafka主题数据实时/批量导入BigQuery表
2. 提供数据格式转换、分区策略配置、错误重试等灵活选项
3. 兼容Kafka Connect标准REST API，便于监控和管理
4. 支持BigQuery服务账号认证及权限配置

使用场景

1. 业务日志从Kafka实时同步到BigQuery进行离线分析
2. 事件数据管道建设，打通Kafka生态与Google Cloud数据服务
3. 数据仓库增量同步，实现跨系统数据集成

配置说明

需通过环境变量或配置文件设置以下关键参数：

• BOOTSTRAP_SERVERS: Kafka集群地址（如kafka:9092）
• BIGQUERY_PROJECT_ID: Google Cloud项目ID
• BIGQUERY_DATASET: 目标BigQuery数据集名称
• GOOGLE_APPLICATION_CREDENTIALS: BigQuery服务账号密钥文件路径

部署示例

Docker Run命令

bash
docker run -d \
  --name kafka-connect-bigquery \
  -e BOOTSTRAP_SERVERS=kafka:9092 \
  -e BIGQUERY_PROJECT_ID=your-gcp-project \
  -e BIGQUERY_DATASET=your-dataset \
  -v /local/path/to/credentials.json:/app/credentials.json \
  -e GOOGLE_APPLICATION_CREDENTIALS=/app/credentials.json \
  mosman128/kafka-connect-bigquery

说明

替换上述命令中的your-gcp-project、your-dataset及密钥文件路径为实际值，即可启动镜像并开始数据同步。