dwpdigital/kafka-to-hbase

Kafka2Hbase镜像说明

镜像概述

本镜像提供将Kafka主题数据迁移至HBase表的能力，基于Kafka消息时间戳保留数据版本，并记录每个主题的消息处理数量与最新接收时间。镜像启动时会自动创建所需的HBase命名空间、表及列族（若不存在），简化部署流程。

核心功能

1. 数据迁移：将Kafka消息体存储至HBase指定表，版本由消息时间戳决定。
2. 主题统计：记录每个主题的消息处理量与最新接收时间，便于监控数据流状态。
3. 自动初始化：自动创建HBase命名空间、表及列族，无需手动配置。
4. 灵活配置：通过环境变量支持HBase、Kafka连接参数及SSL认证方式的自定义。

使用场景

• 实时数据管道中Kafka到HBase的批量/流式数据同步。
• 需要保留历史版本的数据流存储场景（如日志回溯）。
• 对Kafka主题消息数量及更新时间的监控统计。

配置说明

HBase配置

Kafka配置

SSL认证配置（CERTGEN模式）

通过AWS ACM PCA生成证书时需配置：

• CERTGEN_CA_ARN：AWS CA ARN
• CERTGEN_KEY_TYPE：私钥类型（RSA/DSA）
• CERTGEN_SUBJECT_C：主题国家代码
• 其他变量参考镜像官方文档

SSL认证配置（RETRIEVE模式）

从AWS ACM获取证书时需配置：

• RETRIEVER_ACM_CERT_ARN：ACM证书ARN
• RETRIEVER_ADD_DOWNLOADED_CHAIN：是否添加证书链到信任库
• 其他变量参考镜像官方文档

部署示例

Docker Run命令

bash
docker run -d \
  -e K2HB_HBASE_ZOOKEEPER_QUORUM=localhost:2181 \
  -e K2HB_KAFKA_BOOTSTRAP_SERVERS=localhost:9092 \
  -e K2HB_KAFKA_TOPIC_REGEX="my-topic.*" \
  dwpdigital/kafka-to-hbase

Docker Compose示例

yaml
version: '3'
services:
  kafka-to-hbase:
    image: dwpdigital/kafka-to-hbase
    environment:
      K2HB_HBASE_ZOOKEEPER_QUORUM: zookeeper:2181
      K2HB_KAFKA_BOOTSTRAP_SERVERS: kafka:9092
      K2HB_KAFKA_TOPIC_REGEX: "prod-.*"
    depends_on:
      - kafka
      - zookeeper
      - hbase