devopsairwallex/k8s-pod-restart-info-collector

k8s-pod-restart-info-collector

镜像概述和主要用途

k8s-pod-restart-info-collector是一个简单的Kubernetes自定义控制器，用于监控Pod变化，当Pod重启时收集重启原因、日志和事件，并发送到指定的Slack频道。该项目由Airwallex DevOps团队积极使用和维护，旨在实现Kubernetes Pod故障的自动化排查。

更多信息可参考Medium博客：Automated Troubleshooting of Kubernetes (K8s) Pods Issues

核心功能和特性

• 实时监控Pod变化：持续监控Kubernetes集群中的Pod状态变化
• 自动收集重启信息：当Pod重启时，自动收集以下关键信息：
  • 重启原因
  • Pod状态
  • Pod事件
  • 节点状态和事件
  • 重启前的Pod日志
• Slack通知：将收集的信息格式化后发送到指定Slack频道，支持简要消息和详细消息（点击"Show more"展开）
• 防重复通知：10分钟内同一Pod的重复重启消息会被抑制
• 自定义配置：支持通过Pod注解或标签自定义Slack通知频道

使用场景和适用范围

• Kubernetes集群中Pod频繁重启的故障排查
• DevOps团队实时监控Pod健康状态
• 需要自动化收集Pod重启相关诊断信息的场景
• 多集群环境下的Pod重启事件集中通知

详细使用方法和配置说明

本地测试和开发

bash
export SLACK_WEBHOOK_URL=https://hooks.slack.com/services/T0SEVS2SG/xxxxx
go run .

使用Helm安装

替换 slackWebhookUrl、clusterName 和 slackChannel 参数

bash
helm upgrade --install k8s-pod-restart-info-collector ./helm \
   --set slackWebhookUrl="https://hooks.slack.com/services/Change-Me" \
   --set clusterName="Change-Me" \
   --set slackChannel="Change-Me"

检查命令

bash
# 检查相关Kubernetes资源
kubectl get pod,deploy,sa,secret -l app.kubernetes.io/instance=k8s-pod-restart-info-collector

# 查看Helm发布状态
helm status k8s-pod-restart-info-collector

# 获取Helm配置值
helm get values k8s-pod-restart-info-collector

# 获取Helm清单
helm get manifest k8s-pod-restart-info-collector

# 获取所有Helm信息
helm get all k8s-pod-restart-info-collector

# 查看控制器日志
kubectl logs deployment/k8s-pod-restart-info-collector -f

验证收集器功能

运行测试Pod验证收集器是否正常工作：

bash
kubectl run debug-pod --image=alpine -- date;sleep 30
kubectl get pod debug-pod -w

卸载

卸载Helm发布：

bash
helm uninstall k8s-pod-restart-info-collector

此命令将删除与该Chart关联的所有Kubernetes组件并删除发布记录。

Helm参数配置

FAQ

1. 收集器何时会向Slack频道发送Pod重启消息？

当Pod重启时发送消息。但满足以下任一条件时不会发送：

• Pod重启次数 > 30
• 过去10分钟内已发送过相同Pod的重启消息

2. 如何为每个Pod自定义Slack频道？

在Pod的注解或标签中添加 alert-slack-channel: "your-slack-channel-name"。例如，添加标签：alert-slack-channel: "restart-info-nonprod"

3. 如何将Kubernetes图标设置为Slack头像？

告警消息使用名为 :kubernetes: 的自定义表情作为头像。需将 kubernete.png 上传到Slack添加此自定义表情。参考 添加自定义表情

如何编写K8s控制器

参考资料：

• https://github.com/kubernetes/sample-controller/blob/master/docs/controller-client-go.md
• https://github.com/kubernetes/community/blob/master/contributors/devel/sig-api-machinery/controllers.md
• https://github.com/kubernetes/client-go/tree/master/examples/workqueue

版权和许可

Copyright [2022] [Airwallex (Hong Kong) Limited]

根据Apache License 2.0许可。您可以在遵循许可的前提下使用此文件。许可副本可在 [] 获取。除非要求或书面同意，软件按"原样"分发，不提供任何明示或暗示的担保或条件。