abrahamleal/kafka-idle-topics

kafka-idle-topics镜像说明

镜像概述

本镜像包含kafka-idle-topics工具，用于检测Kafka集群中未被有效利用的主题，帮助用户优化资源配置，尤其适用于Confluent Cloud环境下的主题管理。工具通过多维度判断主题是否闲置，输出结果便于用户进行资源清理。

核心功能

判断主题是否闲置的标准：

1. 无消费者组（包括已提交偏移量的 inactive 消费者组）；
2. 评估期间（默认30秒）无活跃生产行为；
3. 分区内无数据。

使用场景

• Confluent Cloud资源优化：发现未使用的主题以减少资源浪费；
• Kafka集群维护：清理闲置主题，提升集群运行效率；
• 资源审计：评估主题使用情况，辅助资源规划决策。

配置说明

工具支持以下关键参数：

• -bootstrap-servers：目标Kafka集群地址（多个地址用逗号分隔）；
• -filename：输出文件名称（默认idleTopics.txt）；
• -hideInternalTopics：隐藏内部主题不参与评估；
• -idleMinutes：主题需闲置的分钟数阈值；
• -kafkaSecurity：连接安全类型（可选plain_tls、plain、tls、none，默认none）；
• -username/-password：PLAIN认证模式下的账号密码；
• -productionAssessmentTimeMs：生产行为评估时长（默认30000ms）；
• -skip：跳过的评估维度（可选production、consumption、storage，支持逗号分隔）。

Docker部署示例

Confluent Cloud环境下的运行示例：

bash
docker run \
  -e KAFKA_BOOTSTRAP=<<BOOTSTRAP-SERVERS>>\
  -e KAFKA_USERNAME=<<API-KEY>>\
  -e KAFKA_PASSWORD=<<API-SECRET>>\
  docker.xuanyuan.run/abrahamleal/kafka-idle-topics:latest

（注：需将<<BOOTSTRAP-SERVERS>>、<<API-KEY>>、<<API-SECRET>>替换为实际值）

安全支持

工具支持四种安全连接模式：

• plain_tls：SASL_SSL + PLAIN认证；
• plain：SASL_PLAINTEXT + PLAIN认证（无TLS）；
• tls：单向TLS连接；
• none：PLAINTEXT（默认）。

TLS连接时，需确保信任证书放置在/etc/ssl/certs/等Go语言默认查找路径下。