gradiant/kafkacat

kafkacat

gradiant/kafkacat是Apache Kafka（≥0.8）的通用非JVM生产者和消费者工具，被称为“Kafka的netcat”，静态链接后仅约150Kb，具有轻量、快速的特点。

核心功能

• 生产者模式：从标准输入读取消息，发送至指定Kafka集群、主题和分区。
• 消费者模式：读取指定主题/分区的消息并输出到标准输出，支持Kafka ≥0.9的高级平衡消费者（通过-G参数）。
• 元数据查看：展示集群状态、主题及分区信息（通过-L参数）。
• 灵活配置：支持消息分隔符、压缩算法、偏移量指定等参数调整。

使用场景

• 快速测试Kafka消息生产/消费功能。
• 实时收集日志并发送至Kafka主题。
• 查看集群元数据状态，排查集群问题。
• 批量导入/导出Kafka消息。

配置说明

关键参数：

• -b：Kafka集群地址（如mybroker:9092）。
• -t：目标主题名称。
• -p：分区编号。
• -G：高级平衡消费者模式，需指定消费组名称。
• -L：查看集群元数据。
• -C：消费者模式（默认），-P：生产者模式。
• -o：消息偏移量（如-2000表示最后2000条）。
• -e：读取完成后退出。

部署示例

获取帮助

bash
docker run -ti gradiant/kafkacat -h

高级平衡消费者订阅主题

bash
docker run -ti gradiant/kafkacat -b mybroker -G mygroup topic1 topic2

日志收集并发送至syslog主题（snappy压缩）

bash
tail -f /var/log/syslog | docker run -ti gradiant/kafkacat -b mybroker -t syslog -z snappy

读取syslog主题消息

bash
docker run -ti gradiant/kafkacat -b mybroker -t syslog

查看集群元数据

bash
docker run -ti gradiant/kafkacat -L -b mybroker