solsson/kafka-persistent

Kafka作为Kubernetes StatefulSet部署

本镜像提供基于OpenJDK的常规Kafka安装，调整配置以永久保留日志，同时包含在Kubernetes中部署Kafka StatefulSet集群的完整示例，依赖5个Zookeeper实例管理元数据。

镜像概述

该镜像以OpenJDK为基础构建，核心是标准Kafka服务，通过修改配置文件实现日志永久存储。主要用于在Kubernetes环境中搭建具有持久化能力的高可用Kafka集群，满足分布式系统的消息传递需求。

核心功能

1. 基于OpenJDK运行Kafka服务
2. 配置日志永久保留，避免数据丢失
3. 支持Kubernetes StatefulSet部署模式，保证集群稳定性
4. 依赖独立Zookeeper集群管理Kafka元数据

使用场景

• 分布式系统的消息队列服务搭建
• 日志收集与流式数据处理场景
• 需要持久化存储和高可用的Kafka集群部署

配置说明

创建命名空间

为获取一致的服务DNS名称（如kafka-N.broker.kafka.svc.cluster.local），先创建命名空间：

bash
kubectl create -f 00namespace.yml

设置卷声明

自动卷配置（推荐）

在Kafka StatefulSet声明中添加存储类启用自动卷供应。

手动卷配置（Minikube环境示例）

创建持久卷（PV）和持久卷声明（PVC）：

bash
./bootstrap/pv.sh
kubectl create -f ./bootstrap/pvc.yml
# 检查声明绑定状态
kubectl get pvc

部署Zookeeper

使用官方Zookeeper镜像并调整启动脚本（从主机名猜测节点ID）：

bash
kubectl create -f ./zookeeper/

注意：若Zookeeper集群丢失，Kafka无法识别已持久化主题，但数据仍存在，需重新创建主题。

启动Kafka

确保PVC绑定或自动卷供应已启用后启动Kafka：

bash
kubectl create -f ./

验证DNS识别情况：

bash
kubectl logs kafka-0 | grep "Registered broker"
# 预期输出：INFO Registered broker 0 at path /brokers/ids/0 with addresses: PLAINTEXT -> EndPoint(kafka-0.broker.kafka.svc.cluster.local,9092,PLAINTEXT)

手动测试

创建测试客户端Pod执行Kafka脚本：

bash
kubectl create -f test/99testclient.yml

参考./test/test.sh获取示例命令。

自动化测试（混沌测试）

创建测试主题

通过Job自动创建主题（主题已存在时Job会重启）：

bash
kubectl create -f test/11topic-create-test1.yml

持续消费消息

创建持续消费的Pod（集群故障时不退出）：

bash
kubectl create -f test/21consumer-test1.yml

清理资源

删除命名空间及相关PV：

bash
kubectl delete namespace kafka
rm -R ./data/ && kubectl delete pv datadir-kafka-0 datadir-kafka-1 datadir-kafka-2