missioncriticalkubernetes/fk8splunk

fk8splunk镜像说明

概述

本镜像基于Fluentd实现，用于将Kubernetes集群中的容器日志数据发送至Splunk平台，支持通过Splunk HTTP事件收集器（HEC）或集群内HEC转发器完成日志传输，满足集群日志集中化管理需求。

核心功能

1. 采集Kubernetes节点上的容器日志文件
2. 通过Fluentd插件将日志转发至Splunk HEC
3. 提供集群内HEC转发器，适配传统Splunk 9997端口转发协议
4. 支持通过环境变量灵活配置Fluentd插件参数（如HEC地址、令牌等）

使用场景

• Kubernetes集群日志的集中化存储与分析
• 需要将容器日志同步至Splunk进行监控告警的场景
• 无法直接启用Splunk HEC时，通过集群内转发器实现日志传输

配置说明

前置要求

1. Splunk HTTP事件收集器（HEC）地址及有效令牌
2. Kubernetes集群访问权限，需提前创建logging命名空间（kubectl create namespace logging）
3. 若使用PodSecurityPolicy，需为fk8splunk服务账户授予hostPath卷挂载权限（kubectl create rolebinding fk8splunk-privileged-psp --serviceaccount=logging:fk8splunk --clusterrole=privileged-psp）

安装步骤

Fluentd日志转发器

bash
# 导出Splunk HEC令牌（替换为实际值）
export SPLUNKHEC_OPTION_token="C2CE8936-73B5-4BBA-9EE2-312A70279AD3"

# （可选）生成UUID作为HEC令牌（MacOSX示例）
# export SPLUNKHEC_OPTION_token=$(uuidgen)

# 创建Secret存储Splunk配置
kubectl -n logging create secret generic fk8splunk \
  --from-literal=SPLUNKHEC_OPTION_host=splunk.logging \
  --from-literal=SPLUNKHEC_OPTION_port=8088 \
  --from-literal=SPLUNKHEC_OPTION_index=main \
  --from-literal=SPLUNKHEC_OPTION_token=${SPLUNKHEC_OPTION_token}

# 安装DaemonSet
kubectl apply -f https://raw.githubusercontent.com/missioncriticalkubernetes/fk8splunk/master/kubernetes/install-latest.yaml

# （可选）安装RBAC角色绑定
kubectl apply -f https://raw.githubusercontent.com/missioncriticalkubernetes/fk8splunk/master/kubernetes/rbac-latest.yaml

集群内HEC转发器

若无法直接启用Splunk HEC，可部署集群内转发器适配9997端口：

bash
kubectl apply -f https://raw.githubusercontent.com/missioncriticalkubernetes/fk8splunk/master/kubernetes/splunk-hec-forwarder.yaml

转发器将使用fk8splunk Secret中的SPLUNKHEC_OPTION_token配置。

插件配置

fluent-plugin-splunkhec

通过环境变量配置插件参数，格式为SPLUNKHEC_OPTION_<参数名>=<值>，例如：

• SPLUNKHEC_OPTION_host=example.com对应插件配置中的host example.com 完整参数列表见：https://github.com/cmeerbeek/fluent-plugin-splunkhec

注意：旧版本使用SPLUNK_HOST等变量的方式已弃用，将打印警告并在未来移除。

fluent-plugin-kubernetes_metadata_filter

通过环境变量配置插件参数，格式为K8S_METADATA_FILTER_OPTION_<参数名>=<值>，例如：

• K8S_METADATA_FILTER_OPTION_preserve_json_log=false对应插件配置中的preserve_json_log false 完整参数列表见：https://github.com/fabric8io/fluent-plugin-kubernetes_metadata_filter