banzaicloud/logging-operator

logging-operator v2

概述

基于Fluentd和Fluent-bit的Kubernetes日志操作器，用于自动化部署和配置Kubernetes日志流水线。通过自定义资源定义(CRD)描述应用的日志行为，实现容器日志的收集、元数据 enrichment、过滤及多输出分发。

核心功能与特性

• 命名空间隔离：支持基于命名空间的日志隔离，确保不同团队或应用的日志独立管理
• 原生Kubernetes标签选择器：使用Kubernetes标签选择器过滤日志，灵活匹配目标Pod
• 安全通信(TLS)：日志传输通道采用TLS加密，确保数据传输安全
• 配置验证：内置配置验证机制，防止无效配置导致的日志流水线异常
• 多流支持：支持为同一日志配置多个处理流，实现不同的日志转换需求
• 多输出支持：将同一日志发送至多个存储目标（如S3、GCS、Elasticsearch、Loki等）
• 多日志系统支持：允许在同一集群部署多个Fluentd和Fluent-bit实例，满足不同日志需求

动机

日志操作器旨在自动化Kubernetes日志流水线的部署与配置。其工作原理如下：

• Fluent-bit DaemonSet在每个节点收集容器日志（从节点文件系统）
• Fluent-bit为日志添加Kubernetes元数据，然后传输至Fluentd
• Fluentd接收、过滤日志，并将其分发至多个输出目标
• 所有日志传输均通过认证和加密通道进行，确保安全性

架构

自定义资源(CRD)

• logging：表示一个日志系统，包含Fluentd和Fluent-bit配置，指定controlNamespace（Fluentd和Fluent-bit将部署于此命名空间）
• output：定义日志流的输出目标，命名空间级资源
• flow：定义包含过滤器和输出的日志流，可通过选择器按标签过滤日志，输出可引用output或clusteroutput，命名空间级资源
• clusteroutput：无命名空间限制的输出定义，仅在controlNamespace中生效
• clusterflow：无命名空间限制的日志流定义

详细CRD文档请参见CRD文档。

安装方法

使用Helm部署

bash
# 添加Helm仓库
helm repo add banzaicloud-stable https://kubernetes-charts.banzaicloud.com
helm repo update

# 安装logging-operator
helm install logging-operator banzaicloud-stable/logging-operator --namespace logging --create-namespace

使用Kubernetes清单部署

bash
# 克隆仓库
git clone https://github.com/banzaicloud/logging-operator.git
cd logging-operator

# 部署CRD和operator
kubectl apply -f deploy/crds/
kubectl apply -f deploy/manifests/

支持的插件

完整支持的插件列表请参见插件索引。

使用示例

• S3输出
• Elasticsearch输出
• Nginx与Elasticsearch输出
• Nginx与Loki输出
• Nginx与Kafka输出

监控

有关监控logging-operator的详细信息，请参见监控文档。

故障排除

如果遇到文档未涵盖的问题，请https://github.com/banzaicloud/logging-operator/issues%E6%88%96%E5%9C%A8Banzai Cloud Slack频道#logging-operator中交流。

贡献

如果您觉得此项目有用，可通过以下方式贡献：

• 提交包含新功能和错误修复的pull request
• 帮助新用户解决遇到的问题
• 支持项目开发并为仓库点赞！

更多信息请阅读开发者文档。

许可证

Copyright (c) 2017-2019 Banzai Cloud, Inc.

根据Apache License 2.0许可（"许可"）授权；除非符合许可，否则您不得使用此文件。您可以在以下位置获取许可副本：

[***]

除非适用***要求或书面同意，否则根据许可分发的软件按"原样"分发，不附带任何明示或暗示的担保或条件。有关许可下权限和限制的具体语言，请参见许可。