solsson/kafkacat

kafkacat

Copyright (c) 2014-2020 Magnus Edenhill
https://github.com/edenhill/kafkacat
kafkacat logo by @dtrapezoid

镜像概述

kafkacat是Apache Kafka（>=0.8版本）的通用非JVM生产者和消费者工具，可视为Kafka版的netcat。它轻量高效，静态链接后仅约150KB，支持多种消息处理功能。

核心功能

• 生产者模式：从标准输入读取消息，按配置分隔符（默认换行）发送到指定Kafka集群、主题和分区。
• 消费者模式：从指定主题和分区读取消息，输出到标准输出。
• 高可用消费者：支持Kafka >=0.9的高级平衡消费者（使用-G 参数）。
• 元数据查询：通过-L参数展示Kafka集群、主题及分区的当前状态。
• 序列化支持：通过Confluent Schema-Registry实现Avro消息反序列化，同时支持通用原始类型反序列化。

使用场景

• 实时日志收集：将系统日志（如/var/log/syslog）发送到Kafka主题。
• 数据测试：快速生产/消费测试消息，验证Kafka集群功能。
• 元数据查看：查询集群的broker、主题、分区分布情况。
• Avro消息处理：解析使用Avro序列化的Kafka消息。

配置说明

可通过以下方式设置librdkafka配置属性：

1. 命令行参数：使用-X property=value设置单个属性。
2. 配置文件：通过-F <config-file>指定配置文件；若未指定，将尝试读取$KAFKACAT_CONFIG环境变量或默认文件~/.config/kafkacat.conf。

Docker部署示例

1. 列出Kafka集群的broker和主题

bash
docker run -it --network=host docker.xuanyuan.run/edenhill/kafkacat:1.5.0 -b YOUR_BROKER -L

2. 发送日志到Kafka主题（snappy压缩）

bash
tail -f /var/log/syslog | docker run -i edenhill/kafkacat:1.5.0 -b YOUR_BROKER -t syslog -z snappy

3. 消费Kafka主题消息

bash
docker run -it docker.xuanyuan.run/edenhill/kafkacat:1.5.0 -b YOUR_BROKER -t syslog

4. 事务性生产消息

bash
echo "test message" | docker run -i edenhill/kafkacat:1.5.0 -B -b YOUR_BROKER -t mytopic -X transactional.id=myproducerapp

5. Avro消息反序列化（需Schema-Registry）

bash
docker run -it docker.xuanyuan.run/edenhill/kafkacat:1.5.0 -b YOUR_BROKER -t ledger -s avro -r [***]