热门搜索:
fluent/fluentd-kubernetes-daemonset
自动构建
fluent
在Kubernetes集群中部署的Fluentd守护进程集，用于收集和处理节点日志。
67 次收藏下载次数: 0状态：自动构建维护者：fluent仓库类型：镜像最近更新：15 天前
Fluentd Kubernetes DaemonSet 镜像文档
镜像概述和主要用途
Fluentd Kubernetes DaemonSet 镜像是专为在Kubernetes集群中以DaemonSet方式部署Fluentd而设计的Docker镜像。Fluentd是一个开源的数据收集器，能够统一日志收集和处理流程，为Kubernetes集群提供集中式日志管理解决方案。
该镜像旨在简化Fluentd在Kubernetes环境中的部署和配置，支持多种日志输出目的地，并针对容器化环境进行了优化。
核心功能和特性
- 多架构支持：提供x86_64和arm64架构的镜像
- 多种输出目的地：支持Elasticsearch、Kafka、S3、Azure Blob、CloudWatch等多种日志存储和分析平台
- Kubernetes原生集成：自动收集容器日志并附加Kubernetes元数据
- 灵活配置：通过环境变量和ConfigMap支持自定义配置
- 系统日志收集：支持收集系统日志和容器日志
- 监控支持：内置Prometheus指标导出功能
- 多格式解析：支持JSON、CRI（containerd/cri-o）等多种日志格式解析
使用场景和适用范围
- Kubernetes集群日志收集：在Kubernetes集群中部署为DaemonSet，收集所有节点上的容器日志
- 集中式日志管理：将分散在多个容器和节点的日志集中发送到指定存储或分析平台
- 日志转发：将日志转发到Elasticsearch、Kafka、S3等后端系统
- 日志处理与转换：对原始日志进行解析、过滤和转换
- 混合云环境日志统一：在混合云或多云Kubernetes环境中实现统一日志收集
支持的标签和架构
Debian 版本
当前稳定版
自v1.17.0起，容器镜像构建流程已从hub.docker.com的自动构建迁移到GitHub Actions。这是因为hub.docker.com对自动构建数量有限制，而GitHub Actions则没有构建流水线数量的限制。
注意：v1.16.5或更早版本的DaemonSet镜像存在一些限制：
papertrail、syslog镜像（x86_64/arm64）不再发布logentries、loggly、logzio、s3的arm64镜像不再发布（仅支持x86_64） 如果需要使用上述未发布的镜像，请自行构建。Dockerfile仍在本仓库中维护。
多架构镜像
Azureblobdocker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-azureblob-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-azureblob-1
Elasticsearch8docker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-elasticsearch8-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-elasticsearch8-1
Elasticsearch7docker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-elasticsearch7-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-elasticsearch7-1docker pull fluent/fluentd-kubernetes-daemonset:v1-debian-elasticsearch
Opensearchdocker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-opensearch-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-opensearch-1
Logglydocker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-loggly-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-loggly-1
Logentriesdocker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-logentries-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-logentries-1
Cloudwatchdocker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-cloudwatch-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-cloudwatch-1
S3docker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-s3-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-s3-1
Syslogdocker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-syslog-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-syslog-1
Forwarddocker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-forward-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-forward-1
Gcsdocker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-gcs-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-gcs-1
Graylogdocker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-graylog-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-graylog-1
Papertraildocker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-papertrail-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-papertrail-1
Logziodocker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-logzio-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-logzio-1
Kafkadocker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-kafka-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-kafka-1
Kafka2docker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-kafka2-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-kafka2-1
Kinesisdocker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-kinesis-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-kinesis-1
Datadogdocker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-datadog-1.1docker pull fluent/fluentd-kubernetes-daemonset:v1.19-debian-datadog-1
x86_64 架构镜像
各输出目的地的x86_64镜像标签格式为：v{版本}-debian-{目的地}-amd64-{修订号}，例如：
docker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-elasticsearch8-amd64-1.1
arm64 架构镜像
各输出目的地的arm64镜像标签格式为：v{版本}-debian-{目的地}-arm64-{修订号}，例如：
docker pull fluent/fluentd-kubernetes-daemonset:v1.19.0-debian-elasticsearch8-arm64-1.1
详细使用方法和配置说明
基础配置
使用环境变量配置
该镜像支持通过环境变量进行基本配置：
| 环境变量 | 描述 | 默认值 |
|---|---|---|
FLUENT_UID | 运行Fluentd的用户ID | 1000 |
FLUENT_CONTAINER_TAIL_PATH | 容器日志文件路径 | /var/log/containers/*.log |
FLUENT_CONTAINER_TAIL_EXCLUDE_PATH | 排除的日志文件路径 | 无 |
FLUENTD_SYSTEMD_CONF | 是否启用systemd日志收集 | enable |
FLUENTD_PROMETHEUS_CONF | 是否启用Prometheus指标 | enable |
FLUENT_POS_EXTRA_DIR | 额外的pos文件目录 | 无 |
LD_PRELOAD | 预加载的库 | 无 |
权限设置
在Kubernetes默认配置下，Fluentd需要root权限才能读取/var/log目录下的日志并写入pos文件。可以通过设置环境变量FLUENT_UID=0来以root用户运行：
yamlenv: - name: FLUENT_UID value: "0"
高级配置
使用自定义配置
虽然镜像提供了默认配置，但用户可以通过Kubernetes ConfigMap来自定义配置。每个镜像包含以下配置文件：
fluent.conf: 目的地设置（Elasticsearch、Kafka等）kubernetes.conf: Kubernetes特定设置，包括日志文件tail输入和元数据过滤tail_container_parse.conf: 容器日志解析器配置prometheus.conf: Prometheus监控插件配置systemd.conf: systemd日志收集配置
可以通过ConfigMap覆盖这些配置文件，例如：
yamlapiVersion: v1 kind: ConfigMap metadata: name: fluentd-config namespace: kube-system data: fluent.conf: | # 自定义输出配置 <match **> @type elasticsearch host elasticsearch-master port 9200 logstash_format true logstash_prefix fluentd include_tag_key true tag_key @log_name flush_interval 5s </match> tail_container_parse.conf: | <parse> @type cri </parse>
然后在DaemonSet中挂载此ConfigMap：
yamlvolumeMounts: - name: config-volume mountPath: /fluentd/etc/fluent.conf subPath: fluent.conf - name: config-volume mountPath: /fluentd/etc/tail_container_parse.conf subPath: tail_container_parse.conf volumes: - name: config-volume configMap: name: fluentd-config
使用CRI解析器处理containerd/cri-o日志
默认情况下，镜像使用json解析器处理Docker格式的日志。对于使用containerd或cri-o的集群，需要使用cri解析器：
yamlenv: - name: FLUENT_CONTAINER_TAIL_PARSER_TYPE value: "cri"
或者通过ConfigMap覆盖tail_container_parse.conf：
<parse> @type cri </parse>
排除特定容器日志
可以通过FLUENT_CONTAINER_TAIL_EXCLUDE_PATH环境变量排除特定日志：
yamlenv: - name: FLUENT_CONTAINER_TAIL_EXCLUDE_PATH value: '["/var/log/containers/fluentd-*", "/var/log/containers/kube-*"]'
启用jemalloc内存分配器
自v1.17.0-1.3/v1.16.5-1.3版本起，jemalloc内存分配器默认禁用。如果不使用systemd插件，可以通过以下方式启用：
yamlenv: - name: LD_PRELOAD value: "/usr/lib/libjemalloc.so.2"
禁用systemd输入
如果不需要收集systemd日志，可以通过环境变量禁用：
yamlenv: - name: FLUENTD_SYSTEMD_CONF value: "disable"
禁用Prometheus监控
如果不需要Prometheus监控，可以通过环境变量禁用：
yamlenv: - name: FLUENTD_PROMETHEUS_CONF value: "disable"
Kubernetes部署示例
DaemonSet部署示例（Elasticsearch输出）
yamlapiVersion: apps/v1 kind: DaemonSet metadata: name: fluentd-elasticsearch namespace: kube-system labels: k8s-app: fluentd-logging spec: selector: matchLabels: name: fluentd-elasticsearch template: metadata: labels: name: fluentd-elasticsearch spec: tolerations: - key: node-role.kubernetes.io/master effect: NoSchedule containers: - name: fluentd-elasticsearch image: fluent/fluentd-kubernetes-daemonset:v1.19-debian-elasticsearch7-1 resources: limits: memory: 200Mi requests: cpu: 100m memory: 200Mi env: - name: FLUENT_UID value: "0" - name: FLUENT_ELASTICSEARCH_HOST value: "elasticsearch-master" - name: FLUENT_ELASTICSEARCH_PORT value: "9200" - name: FLUENT_ELASTICSEARCH_SCHEME value: "http" - name: FLUENTD_SYSTEMD_CONF value: "disable" volumeMounts: - name: varlog mountPath: /var/log - name: varlibdockercontainers mountPath: /var/lib/docker/containers readOnly: true volumes: - name: varlog hostPath: path: /var/log - name: varlibdockercontainers hostPath: path: /var/lib/docker/containers
部署RBAC权限
yamlapiVersion: v1 kind: ServiceAccount metadata: name: fluentd-elasticsearch namespace: kube-system --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: fluentd-elasticsearch rules: - apiGroups: [""] resources: - namespaces - pods verbs: ["get", "list", "watch"] --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: fluentd-elasticsearch subjects: - kind: ServiceAccount name: fluentd-elasticsearch namespace: kube-system roleRef: kind: ClusterRole name: fluentd-elasticsearch apiGroup: rbac.authorization.k8s.io
在OpenShift上部署
bashoc project kube-system oc create -f https://raw.githubusercontent.com/fluent/fluentd-kubernetes-daemonset/master/fluentd-daemonset-elasticsearch-rbac.yaml oc adm policy add-scc-to-user privileged -z fluentd oc patch ds fluentd -p "spec: template: spec: containers: - name: fluentd securityContext: privileged: true" oc delete pod -l k8s-app=fluentd-logging
注意事项
多Fluentd实例部署
当在同一集群中部署多个Fluentd实例（例如需要将日志发送到多个目的地），需要设置FLUENT_POS_EXTRA_DIR环境变量来指定额外的pos文件目录，避免pos文件冲突：
yamlenv: - name: FLUENT_POS_EXTRA_DIR value: "/var/log/fluentd-pos-extra"
Kafka镜像不支持Zookeeper参数
由于Debian 10上的Zookeeper gem存在兼容性问题，Kafka镜像不包含Zookeeper gem。
Windows Kubernetes支持
本仓库不提供Windows Kubernetes DaemonSet支持，但有社区用户提供了相关实现：
- https://github.com/bgsilvait/k8s-fluentd-windows
- https://github.com/k1nger/fluentd-windows-daemon
Kafka镜像建议
推荐使用debian-kafka2或debian-kafka2-arm64镜像，这些镜像使用out_kafka2插件，而debian-kafka或debian-kafka-arm64使用已弃用的out_kafka_buffered插件。
维护者信息
部分镜像由社区贡献者维护，如遇特定镜像问题，请联系相应维护者：
- azureblob: @elsesiy
- papertrail
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 fluentd-kubernetes-daemonset 镜像标签
docker pull docker.xuanyuan.run/fluent/fluentd-kubernetes-daemonset:<标签>
DockerHub 原生拉取命令
docker pull fluent/fluentd-kubernetes-daemonset:<标签>
更多 fluentd-kubernetes-daemonset 镜像推荐
fluent/fluent-bit
fluent
Fluent Bit 是一款轻量级的日志与指标收集转发工具，以高效低耗为核心优势，适用于从边缘设备到云端的各类部署环境，能够实时采集、处理并转发系统日志、应用指标等多样化数据，支持多种数据源接入与输出目标对接，凭借小巧的体积和强大的性能，广泛应用于容器化部署、微服务架构及物联网场景中，为日志监控、数据分析与运维决策提供稳定可靠的数据流支持。
126 次收藏10亿+ 次下载
27 天前更新
fluent/fluentd
fluent
Fluentd Docker镜像是由Fluent项目开发的官方Docker镜像，用于简化Fluentd的部署与使用，Fluentd作为一款开源数据收集器，旨在实现统一的日志收集与处理，支持多种数据源和输出目标，可帮助用户高效聚合、过滤和转发日志数据，该镜像可通过Docker直接快速部署，方便用户在容器化环境中集成Fluentd进行日志管理，更多信息可访问其官方网站[***]
374 次收藏1亿+ 次下载
1 个月前更新
amazon/aws-for-fluent-bit
amazon
Fluent Bit镜像，用于日志处理与转发，包含AWS插件以支持与AWS服务集成。
32 次收藏10亿+ 次下载
22 天前更新
library/fluentd
Docker 官方镜像
Fluentd是一个用于统一日志层的开源数据收集器
208 次收藏1000万+ 次下载
21 天前更新
bitnami/fluent-bit
Bitnami Secure Images（VMware Tanzu）
Bitnami安全镜像，基于Fluent Bit，提供日志与指标的收集、处理及转发功能，具备安全加固特性。
1 次收藏500万+ 次下载
7 个月前更新
bitnamicharts/fluent-bit
bitnamicharts
Bitnami提供的Fluent Bit Helm chart，用于在Kubernetes集群上部署快速轻量级的日志处理器和转发器，支持高效收集和转发来自不同来源的事件。
100万+ 次下载
8 个月前更新
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
配置了专属域名后，docker search 为什么会报错？
docker search 限制
Docker Hub 上有的镜像，为什么在轩辕镜像网站搜不到？
站内搜不到镜像
机器不能直连外网时，怎么用 docker save / load 迁镜像？
离线 save/load
docker pull 拉插件报错（plugin v1+json）怎么办？
插件要用 plugin install
WSL 里 Docker 拉镜像特别慢，怎么排查和优化？
WSL 拉取慢
轩辕镜像安全吗？如何用 digest 校验镜像没被篡改？
安全与 digest
第一次用轩辕镜像拉 Docker 镜像，要怎么登录和配置？
新手拉取配置
轩辕镜像合规吗？轩辕镜像的合规是怎么做的？
镜像合规机制
错误码与失败问题
docker pull 提示 manifest unknown 怎么办？
manifest unknown
docker pull 提示 no matching manifest 怎么办？
no matching manifest（架构）
镜像已拉取完成，却提示 invalid tar header 或 failed to register layer 怎么办？
invalid tar header（解压）
Docker pull 时 HTTPS / TLS 证书验证失败怎么办？
TLS 证书失败
Docker pull 时 DNS 解析超时或连不上仓库怎么办？
DNS 超时
docker 无法连接轩辕镜像域名怎么办？
域名连通性排查
Docker 拉取出现 410 Gone 怎么办？
410 Gone 排查
出现 402 或「流量用尽」提示怎么办？
402 与流量用尽
Docker 拉取提示 UNAUTHORIZED（401）怎么办？
401 认证失败
遇到 429 Too Many Requests（请求太频繁）怎么办？
429 限流
docker login 提示 Cannot autolaunch D-Bus，还算登录成功吗？
D-Bus 凭证提示
为什么会出现「单层超过 20GB」或 413，无法加速拉取？
413 与超大单层
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"