coco/resilient-splunk-forwarder

resilient-splunk-forwarder

镜像概述

resilient-splunk-forwarder是一款高可用日志转发工具，专注于将AWS S3中缓存的日志可靠转发至Splunk平台，支持失败重试与异步处理，确保日志传输的稳定性与完整性。

核心功能

1. S3日志读取：从指定S3桶中读取缓存的日志对象；
2. Splunk转发：将日志异步发送至Splunk HEC（HTTP Event Collector）端点；
3. 失败重试：转发失败的日志重新存储至S3，并采用指数退避策略避免过载目标端点；
4. 健康检查：提供/__gtg、/__health等管理端点，监控S3与Splunk操作状态。

使用场景

• 日志集中分析：将分散在S3的日志统一转发至Splunk，便于日志检索与分析；
• 高可用传输：应对网络波动或Splunk服务临时不可用场景，通过S3缓存确保日志不丢失；
• 企业日志流水线：作为日志收集流程的关键组件，连接存储层与分析层。

配置说明

镜像支持命令行参数或环境变量配置，关键参数如下：

Docker部署示例

单容器运行

bash
docker run -d \
  --name resilient-splunk-forwarder \
  -e TOKEN="your_splunk_hec_token" \
  -e BUCKET_NAME="your_s3_bucket" \
  -e AWS_REGION="cn-north-1" \
  -e AWS_ACCESS_KEY_ID="your_aws_access_key" \
  -e AWS_SECRET_ACCESS_KEY="your_aws_secret_key" \
  -e FORWARD_URL="https://your-splunk-instance:8088/services/collector" \
  docker.xuanyuan.run/coco/resilient-splunk-forwarder

健康检查验证

bash
curl http://localhost:8080/__health

其他信息

• 日志记录：使用logrus库记录日志，初始化逻辑位于main.go；
• 部署流程：代码合并至master后，Docker Hub自动构建镜像，CI由CircleCI支持。
• 处理机制：单线程列出S3对象，多worker异步获取并转发，失败消息重新存入S3。