flant/loghouse-fluentd

Loghouse Fluentd镜像说明

镜像概述

Loghouse是Flant开发的Kubernetes日志管理解决方案，目前已停止主动开发但保持开源。它通过Fluentd收集集群日志，存储到ClickHouse数据库，并提供Web UI进行日志查询与监控。Flant曾在生产环境中使用该方案，适用于需要高效处理大规模日志的Kubernetes集群。

核心功能

1. 高效日志处理：
   • Fluentd每秒可处理***条日志，仅占用300MB内存；
   • ClickHouse最小化磁盘占用，例如53.5亿条日志仅需54GB存储。
2. 灵活查询：支持精确值/正则表达式筛选，多条件AND/OR组合。
3. Kubernetes元数据集成：基于Pod名称、命名空间、标签等元数据过滤日志。
4. 便捷部署：通过Helm chart快速部署到Kubernetes集群。
5. Web UI能力：
   • 类似Papertrail的体验，可定制时间范围、无限滚动旧日志；
   • 支持保存查询、按命名空间权限控制、CSV导出。
6. 监控支持：通过Prometheus和Grafana监控Fluentd与ClickHouse。

使用场景

• Kubernetes集群日志的集中收集、存储与查询；
• 生产环境日志的实时监控与分析；
• 大规模日志数据的高效管理场景。

配置说明

安装前提

• Kubernetes集群版本≥1.9；
• 已安装Helm和cert-manager。

部署步骤

1. 添加Helm仓库：

bash
helm repo add loghouse https://flant.github.io/loghouse/charts/

2. 安装Chart：
   • 简易方式：

   bash
   helm fetch loghouse/loghouse --untar
   vim loghouse/values.yaml  # 修改loghouse_host、auth等配置
   helm install --namespace loghouse -n loghouse loghouse --timeout 1200
   

   • 指定参数安装：

   bash
   helm install -n loghouse loghouse/loghouse --set 'param=value' ...
   

升级注意事项

• v0.3.0版本重构了Helm chart，升级前需删除冲突对象：

  bash
  kubectl -n loghouse delete jobs,ing --all
  

• 数据库schema有变更，升级前需备份ClickHouse数据，迁移任务会自动启动。

架构说明

• Fluentd：DaemonSet部署在每个节点，收集日志并添加Kubernetes元数据，写入ClickHouse；
• ClickHouse：StatefulSet部署（可配置外部实例），存储日志数据；
• Web UI：nginx前端（基础认证）+ Ruby后端，提供日志查询界面。