asauerwein/splunk-mqtt

splunk-mqtt

镜像概述和主要用途

splunk-mqtt是一个轻量级的Go二进制程序，作为MQTT代理与Splunk HEC（HTTP Event Collector）之间的桥梁，实现MQTT消息的实时收集与传输。它能够订阅MQTT代理的多个主题，将接收的消息直接流式传输到Splunk HEC进行集中分析，同时支持将消息输出到控制台用于调试或本地查看。

核心功能和特性

已实现功能

• 订阅MQTT代理的多个主题
• 将事件发送到Splunk HEC
• 将接收的消息输出到控制台

计划实现功能

• 使用TLS连接MQTT代理
• 消息缓存机制

配置说明

splunk-mqtt支持通过配置文件（config.yaml）或环境变量进行配置，环境变量的优先级高于配置文件。

YAML配置示例

yaml
---
broker: tcp://192.168.1.1:1883  # MQTT代理地址
mqtt_username: splunk           # MQTT连接用户名
mqtt_password: abcde12345       # MQTT连接密码
hec_url: https://hec.splunk.com # Splunk HEC URL
hec_token: xxxxxxx-xxxx-xxxx-xxxx-073155c4c54e  # Splunk HEC令牌
client_id: mqtt_subscribe       # MQTT客户端ID
write_to_console: true          # 是否输出消息到控制台
write_to_splunk: true           # 是否发送消息到Splunk HEC
topics:                         # 订阅的MQTT主题列表
  - tele/+/SENSOR
  - tele/some/SENSOR
insecure_skip_verify: false     # 是否跳过TLS证书验证（用于测试）

环境变量配置示例

bash
export BROKER="tcp://192.168.1.1:1883"          # MQTT代理地址
export MQTT_USERNAME="splunk"                   # MQTT连接用户名
export MQTT_PASSWORD="abcde12345"               # MQTT连接密码
export HEC_URL="https://hec.splunk.com"         # Splunk HEC URL
export HEC_TOKEN="xxxxxxx-xxxx-xxxx-xxxx-073155c4c54e"  # Splunk HEC令牌
export CLIENT_ID="mqtt_subscribe"               # MQTT客户端ID
export WRITE_TO_CONSOLE="true"                  # 是否输出消息到控制台
export WRITE_TO_SPLUNK="true"                   # 是否发送消息到Splunk HEC
export TOPICS="tele/+/SENSOR,tele/some/SENSOR"  # 订阅的MQTT主题（逗号分隔）
export INSECURE_SKIP_VERIFY="false"             # 是否跳过TLS证书验证（用于测试）

使用方法

直接运行

在配置文件（config.yaml）所在目录执行以下命令：

bash
./splunk-mqtt

运行后将显示连接信息和订阅状态，示例输出：

MQTT Broker:  tcp://192.168.1.1:1883
MQTT Username:  splunk
Splunk HEC URL:  https://hec.splunk.com
Connection is up
connection established
subscribed to:  tele/+/SENSOR
subscribed to:  tele/some/SENSOR

Docker运行

使用环境变量配置并运行Docker容器：

bash
docker run \
  -e BROKER="tcp://192.168.1.1:1883" \
  -e HEC_URL="https://hec.splunk.com" \
  -e HEC_TOKEN="xxxxxxx-xxxx-xxxx-xxxx-073155c4c54e" \
  -e TOPICS="tele/+/SENSOR,tele/some/SENSOR" \
  -e WRITE_TO_CONSOLE="true" \
  -e WRITE_TO_SPLUNK="true" \
  splunk-mqtt

依赖许可证

• github.com/eclipse/paho.mqtt.golang：https://github.com/eclipse/paho.mqtt.golang/blob/master/LICENSE
• github.com/jhop310/splunk-hec-go：https://github.com/jhop310/splunk-hec-go/blob/master/LICENSE
• github.com/kelseyhightower/envconfig：https://github.com/kelseyhightower/envconfig/blob/master/LICENSE