mailgun/kafka-pixy

Kafka-Pixy（Kafka的gRPC/REST代理）

https://travis-ci.org/mailgun/kafka-pixy.svg?branch=master](https://travis-ci.org/mailgun/kafka-pixy) https://goreportcard.com/badge/github.com/mailgun/kafka-pixy](https://goreportcard.com/report/github.com/mailgun/kafka-pixy) https://coveralls.io/repos/mailgun/kafka-pixy/badge.svg?branch=master&service=github](https://coveralls.io/github/mailgun/kafka-pixy?branch=master) https://img.shields.io/github/stars/mailgun/kafka-pixy.svg?style=social&label=Stars](https://github.com/mailgun/kafka-pixy)

Kafka-Pixy是一个为http://kafka.apache.org/documentation.html%E6%8F%90%E4%BE%9BgRPC%E5%92%8CREST%E5%8F%8CAPI%E7%9A%84%E4%BB%A3%E7%90%86%E5%B7%A5%E5%85%B7%EF%BC%8C%E5%85%B7%E5%A4%87%E8%87%AA%E5%8A%A8%E6%B6%88%E8%B4%B9%E8%80%85%E7%BB%84%E7%AE%A1%E7%90%86%E5%8A%9F%E8%83%BD%E3%80%82%E5%AE%83%E6%97%A8%E5%9C%A8%E9%9A%90%E8%97%8FKafka%E5%AE%A2%E6%88%B7%E7%AB%AF%E5%8D%8F%E8%AE%AE%E7%9A%84%E5%A4%8D%E6%9D%82%E6%80%A7%EF%BC%8C%E6%8F%90%E4%BE%9B%E7%AE%80%E5%8D%95%E6%98%93%E7%94%A8%E7%9A%84API%EF%BC%8C%E4%BE%BF%E4%BA%8E%E4%BB%BB%E4%BD%95%E8%AF%AD%E8%A8%80%E5%AE%9E%E7%8E%B0%E5%AE%A2%E6%88%B7%E7%AB%AF%E5%AF%B9%E6%8E%A5%E3%80%82

Kafka-Pixy已针对Kafka版本0.10.2.1、1.1.1和2.1.0测试兼容，可能支持从0.8.2.2开始的所有版本。它通过Kafka的https://cwiki.apache.org/confluence/display/KAFKA/A+Guide+To+The+Kafka+Protocol#AGuideToTheKafkaProtocol-OffsetCommit/FetchAPI%E8%B7%9F%E8%B8%AA%E6%B6%88%E8%B4%B9%E8%80%85%E5%81%8F%E7%A7%BB%E9%87%8F%EF%BC%8C%E5%9B%A0%E6%9C%AA%E5%AE%9E%E7%8E%B0https://cwiki.apache.org/confluence/display/KAFKA/A+Guide+To+The+Kafka+Protocol#AGuideToTheKafkaProtocol-GroupMembershipAPI%EF%BC%8C%E9%9C%80%E7%9B%B4%E6%8E%A5%E4%B8%8EZookeeper%E4%BA%A4%E4%BA%92%E7%AE%A1%E7%90%86%E6%B6%88%E8%B4%B9%E8%80%85%E7%BB%84%E6%88%90%E5%91%98%E3%80%82

核心功能

• 自动消费者组管理：首次收到组-主题对的消费请求时自动加入组并订阅主题；请求停止超时时取消订阅，无需客户端显式创建消费者。
• 至少一次投递保障：通过同步生产+显式消息确认机制，确保消息至少投递一次。
• 双API支持：gRPC（推荐生产/消费）和REST（测试/运维场景）。
• 多集群支持：配置文件定义多个集群，API请求通过集群名称指定目标。
• 请求聚合：对外提供单消息API，内部批量发送至Kafka，平衡易用性与性能。
• 本地部署优化：建议与应用同主机部署，避免网络传输损耗。

使用场景

1. 多语言客户端接入：简化非Java语言（如Python、Go）与Kafka的交互，无需复杂客户端实现。
2. 测试与运维：通过REST API快速验证Kafka集群功能或执行运维操作。
3. 自动组管理需求：应用无需关注消费者组的创建与维护。

配置说明

需通过配置文件定义Kafka集群信息（Zookeeper地址、brokers等），参考https://github.com/mailgun/kafka-pixy/blob/master/default.yaml%EF%BC%8C%E5%B0%86%E8%87%AA%E5%AE%9A%E4%B9%89%E9%85%8D%E7%BD%AE%E6%8C%82%E8%BD%BD%E5%88%B0%E5%AE%B9%E5%99%A8%E5%86%85%60/etc/kafka-pixy/config.yaml%60%E8%B7%AF%E5%BE%84%E3%80%82

部署示例

Docker Run命令

bash
docker run -d \
  --name kafka-pixy \
  -p 19092:19092 \  # gRPC端口
  -p 19093:19093 \  # REST端口
  -v /path/to/your/config.yaml:/etc/kafka-pixy/config.yaml \
  mailgun/kafka-pixy

Docker Compose示例

yaml
version: '3'
services:
  kafka-pixy:
    image: mailgun/kafka-pixy
    ports:
      - "***:***"
      - "***:***"
    volumes:
      - ./config.yaml:/etc/kafka-pixy/config.yaml
    restart: always