logicmonitor/lm-logs-k8s-fluentd

Kubernetes-LogicMonitor 日志转发镜像

镜像概述

本镜像用于将Kubernetes集群日志（包括容器日志、系统日志等）收集并转发至Logic Monitor日志管理平台，实现容器化环境日志的集中化收集、转发与管理。通过与Kubernetes深度集成，支持节点级日志采集，并提供灵活的配置选项以适配不同的日志转发需求。

核心功能与特性

• Kubernetes日志采集：支持采集Kubernetes集群中容器标准输出（stdout/stderr）、容器日志文件（如/var/log/containers/目录）及节点系统日志。
• Logic Monitor集成：通过Logic Monitor日志 ingestion API或专用端点，将采集的日志安全转发至Logic Monitor平台，支持附加容器/Pod/节点元数据（如容器名、Pod标签、节点IP）。
• 日志处理能力：支持日志格式化（如JSON标准化）、按关键词/正则表达式过滤（包含/排除特定日志）、批处理转发（减少API请求频率）。
• 高可用性：内置转发失败重试机制（可配置重试次数与间隔），支持断点续传，确保日志不丢失。
• Kubernetes原生部署：支持通过DaemonSet控制器部署至集群所有节点，自动适配节点扩缩容，确保全集群日志覆盖。

使用场景与适用范围

• 容器化应用监控：适用于使用Kubernetes编排容器化应用的团队，需将集群日志集中管理至Logic Monitor，用于应用运行状态监控与故障排查。
• 合规审计：满足***、***等行业合规要求，将Kubernetes日志持久化存储至Logic Monitor，支持日志回溯与审计追溯。
• 实时日志分析：结合Logic Monitor的监控与告警功能，对转发的日志进行实时分析，及时发现异常日志（如错误、警告）并触发告警。
• 多集群日志统一管理：支持跨多Kubernetes集群的日志采集，统一转发至Logic Monitor，实现多集群日志集中视图。

使用方法与配置说明

部署方式

主要用于Kubernetes环境，推荐通过DaemonSet部署（确保每个节点运行一个采集实例）；也可作为独立容器运行（适用于非K8s环境测试）。

配置参数说明

镜像通过环境变量配置，核心参数如下：

部署示例

1. Docker Run（测试用）

非K8s环境测试，需挂载宿主机日志目录：

bash
docker run -d \
  --name lm-log-forwarder \
  -e LM_ACCESS_ID="your-lm-access-id" \
  -e LM_ACCESS_KEY="your-lm-access-key" \
  -e LM_TENANT="your-tenant" \
  -e K8S_LOG_PATH="/host/var/log/containers/" \
  -v /var/log/containers/:/host/var/log/containers/:ro \  # 挂载宿主机容器日志目录
  lm-log-forwarder:latest

2. Kubernetes DaemonSet部署（生产环境）

1. 创建Logic Monitor密钥（secret.yaml）
将LM_ACCESS_ID和LM_ACCESS_KEY存储为Kubernetes Secret：

yaml
apiVersion: v1
kind: Secret
metadata:
  name: lm-credentials
  namespace: monitoring
type: Opaque
data:
  access-id: <base64-encoded-access-id>  # 需Base64编码（例：`echo -n "abcd1234" | base64`）
  access-key: <base64-encoded-access-key>  # 需Base64编码

2. DaemonSet配置（daemonset.yaml）

yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: lm-log-forwarder
  namespace: monitoring
spec:
  selector:
    matchLabels:
      app: lm-log-forwarder
  template:
    metadata:
      labels:
        app: lm-log-forwarder
    spec:
      containers:
      - name: lm-log-forwarder
        image: lm-log-forwarder:latest
        env:
        - name: LM_ACCESS_ID
          valueFrom:
            secretKeyRef:
              name: lm-credentials
              key: access-id
        - name: LM_ACCESS_KEY
          valueFrom:
            secretKeyRef:
              name: lm-credentials
              key: access-key
        - name: LM_TENANT
          value: "your-tenant"
        - name: K8S_LOG_PATH
          value: "/var/log/containers/"
        - name: K8S_METADATA_ENABLED
          value: "true"
        volumeMounts:
        - name: var-log-containers
          mountPath: /var/log/containers/
          readOnly: true  # 只读挂载日志目录
        - name: var-log-pods
          mountPath: /var/log/pods/  # 用于解析Pod元数据
          readOnly: true
      volumes:
      - name: var-log-containers
        hostPath:
          path: /var/log/containers/  # 宿主机容器日志路径
      - name: var-log-pods
        hostPath:
          path: /var/log/pods/  # 宿主机Pod日志元数据路径
      tolerations:  # 允许在所有节点（含污点节点）运行
      - operator: "Exists"

部署命令：

bash
kubectl apply -f secret.yaml -n monitoring
kubectl apply -f daemonset.yaml -n monitoring

3. Docker Compose（本地测试）

docker-compose.yml：

yaml
version: '3'
services:
  lm-log-forwarder:
    image: lm-log-forwarder:latest
    environment:
      - LM_ACCESS_ID=your-lm-access-id
      - LM_ACCESS_KEY=your-lm-access-key
      - LM_TENANT=your-tenant
      - K8S_LOG_PATH=/host/var/log/containers/
      - LOG_FILTER_INCLUDE=error|warning  # 仅转发包含error/warning的日志
    volumes:
      - /var/log/containers/:/host/var/log/containers/:ro  # 挂载宿主机日志目录

启动命令：

bash
docker-compose up -d

验证与监控

• 日志验证：通过kubectl logs -n monitoring <pod-name>（K8s环境）或docker logs lm-log-forwarder（Docker环境）查看转发状态，确认无错误日志。
• Logic Monitor确认：登录Logic Monitor平台，进入“Logs”模块，验证是否接收到Kubernetes集群日志。