roffe/kube-gelf

kube-gelf

Fluentd 日志收集工具，适用于CoreOS Kubernetes环境，可收集容器日志与journald日志，并输出至Graylog。支持通过ConfigMap配置，提供定时任务示例以缓解Fluentd已知问题，同时支持配置重载。

镜像概述

本镜像用于Kubernetes集群的日志统一收集与转发，仅在CoreOS环境中测试过，但调整配置路径后可适配其他发行版。镜像自动构建于Docker Hub。

核心功能

1. 收集Kubernetes容器日志与节点journald日志
2. 支持通过ConfigMap动态配置Graylog地址、端口及协议
3. 提供定时任务解决Fluentd部分已知bug
4. 支持配置重载，无需重启Pod即可更新日志收集规则

使用场景

适用于需要统一监控Kubernetes集群日志的场景，帮助运维人员集中分析容器与节点的运行日志。

配置说明

安装步骤

sh
# 创建RBAC权限
kubectl create -f rbac.yaml

# 创建ConfigMap（替换<server address>和<udp|tcp>为实际值）
kubectl create configmap \
    --namespace kube-system kube-gelf \
    --from-file fluent.conf \
    --from-literal GELF_HOST=<server address> \
    --from-literal GELF_PORT=12201 \
    --from-literal GELF_PROTOCOL=<udp|tcp>

# 部署DaemonSet
kubectl create -f daemonset.yaml

# （可选）部署定时任务以自动重载配置
kubectl create -f cron.yaml

配置重载

更新ConfigMap后，需等待1分钟让Kubernetes同步配置，再执行以下命令重载所有Pod的Fluentd配置：

sh
for POD in `kubectl get pod --namespace kube-system -l app=kube-gelf | tail -n +2 | awk '{print $1}'`; do echo RELOAD ${POD}; kubectl exec --namespace kube-system ${POD} -- /bin/sh -c 'kill -1 1'; done

定时任务说明

• Kubernetes 1.8及以上版本默认支持batch/v1beta1，无需额外配置；
• 1.8以下版本需启用batch/v2alpha1=true并修改cron.yaml的apiVersion为batch/v2alpha1；
• 定时任务用于定期重载配置，可缓解Fluentd的已知bug。

Fluentd已知问题

1. in_tail插件阻止Docker删除容器（参考：https://github.com/fluent/fluentd/issues/1680）；
2. in_tail插件在启动阶段删除未跟踪的文件位置，导致pos_file内容增长（参考：https://github.com/fluent/fluentd/issues/1126）。

更新日志

1.2版本

• 新增GELF_PROTOCOL环境变量，支持选择UDP或TCP协议；
• 更换输出插件为https://github.com/bodhi-space/fluent-plugin-gelf-hs。

1.1版本

• 移除hostNetwork配置，新增NODENAME环境变量（通过Downward API获取），日志条目将包含hostname: <节点名称>字段。