vevo/fluentd-elasticsearch

fluentd-elasticsearch 镜像文档

镜像概述

vevo/fluentd-elasticsearch 是一个用于将Fluentd收集的数据以Logstash格式发送到Elasticsearch的Docker镜像。镜像托管于Docker Hub（https://hub.docker.com/r/vevo/fluentd-elasticsearch%EF%BC%89%EF%BC%8C%E5%9F%BA%E4%BA%8EDocker Hub的自动构建功能构建，每次提交到仓库任意分支都会生成对应的Docker镜像。新镜像构建完成后可在https://hub.docker.com/r/vevo/fluentd-elasticsearch/tags/%E6%9F%A5%E7%9C%8B%EF%BC%88%E5%8F%AF%E8%83%BD%E5%AD%98%E5%9C%A8%E5%87%A0%E5%88%86%E9%92%9F%E5%BB%B6%E8%BF%9F%EF%BC%89%E3%80%82

本仓库基于Kubernetes官方的fluentd-elasticsearch镜像仓库（https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch/fluentd-es-image%EF%BC%89%E5%BC%80%E5%8F%91%E3%80%82

核心功能与特性

• 数据格式转换：支持将Fluentd收集的日志数据转换为Logstash格式
• Elasticsearch集成：提供与Elasticsearch的原生集成能力，实现日志数据的高效存储
• 自动构建机制：通过Docker Hub自动构建功能，确保代码提交后自动生成对应镜像版本
• Kubernetes兼容：基于Kubernetes官方镜像开发，适用于Kubernetes集群环境

使用场景

• Kubernetes集群环境中的日志集中收集与存储
• 需要将Fluentd日志数据标准化为Logstash格式的场景
• 构建基于Elasticsearch的日志检索与分析系统

使用方法与配置说明

获取镜像

通过Docker Hub拉取最新版本镜像：

bash
docker pull vevo/fluentd-elasticsearch

如需指定版本，可通过标签获取特定版本：

bash
docker pull vevo/fluentd-elasticsearch:<tag>

所有可用标签可在https://hub.docker.com/r/vevo/fluentd-elasticsearch/tags/%E6%9F%A5%E7%9C%8B%E3%80%82

基本使用

运行容器的基本命令：

bash
docker run -d --name fluentd-elasticsearch vevo/fluentd-elasticsearch

配置说明

该镜像基于Kubernetes官方fluentd-elasticsearch镜像构建，配置方式与原始镜像兼容，主要配置包括：

1. 输入源配置：定义Fluentd从何处收集日志（如文件、容器日志等）
2. 过滤规则：日志数据的处理与转换规则
3. 输出配置：Elasticsearch连接信息（地址、端口、索引名称等）

详细配置可参考Kubernetes官方文档或原始仓库说明。

Kubernetes部署

在Kubernetes环境中，通常以DaemonSet方式部署，确保每个节点都运行Fluentd实例，示例配置片段：

yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd-elasticsearch
  namespace: kube-system
spec:
  selector:
    matchLabels:
      name: fluentd-elasticsearch
  template:
    metadata:
      labels:
        name: fluentd-elasticsearch
    spec:
      containers:
      - name: fluentd-elasticsearch
        image: vevo/fluentd-elasticsearch:latest
        resources:
          limits:
            memory: 200Mi
          requests:
            cpu: 100m
            memory: 200Mi
        volumeMounts:
        - name: varlog
          mountPath: /var/log
      volumes:
      - name: varlog
        hostPath:
          path: /var/log

以上配置将在每个节点部署Fluentd实例，收集/var/log目录下的日志并发送至Elasticsearch。