area51/dataretriever

dataretriever

这是一个简单的Go应用，能够桥接远程服务并将消息提交到本地RabbitMQ实例。

注意：当前版本仍为alpha质量，在完成全面测试前可能存在bug。

概述

该应用支持多种数据源，使用从简单HTTP轮询到通过STOMP连接远程消息代理等多种协议，帮助实现跨服务的消息同步与转发。

核心功能

• 支持STOMP协议桥接：连接远程STOMP服务器，订阅多个主题并转发消息到RabbitMQ。
• 支持HTTP轮询：定期访问远程Web服务，将响应结果提交到RabbitMQ。
• 灵活配置：通过YAML文件定义RabbitMQ连接、调试模式、数据源参数及调度规则。
• 自定义调度：HTTP轮询支持Cron表达式、预定义调度或固定间隔设置执行时间。

使用场景

1. 将远程STOMP服务器的消息同步到本地RabbitMQ集群，实现跨系统消息流转。
2. 定期轮询第三方HTTP API获取数据，将结果发送到RabbitMQ供后续分析或通知。
3. 调试环境中收集远程服务的消息，用于本地功能测试与问题排查。

配置说明

应用需通过YAML格式的配置文件运行，配置模板可在GitHub仓库获取。以下是关键配置部分：

amqp（必填）

定义RabbitMQ连接信息：

yaml
amqp:
  url: amqp://user:password@rabbitHostname  # RabbitMQ连接字符串
  routingKey: test  # 消息路由键
  # exchange: amq.topic  # 可选，默认amq.topic

debug（可选）

开启调试模式（生产环境建议关闭）：

yaml
debug: true

STOMP桥接

连接远程STOMP服务器并订阅主题：

yaml
stomp:
  server: "example.com:61618"
  username: "user@example.com"
  password: "s3cr3t"
  clientId: "user@example.com"
  host: "/"
  heartBeat:
    sendTimeout: 15s
    receiveTimeout: 15s
  subscription:
  - topic: "/topic/TOPIC1"
    routingKey: feed.topic1
  - topic: "/topic/TOPIC2"
    routingKey: feed.topic2
    headers: {"activemq.subscriptionName": "topic2"}  # 持久化订阅（仅ActiveMQ有效）

HTTP轮询

定期访问远程API：

yaml
http:
  url: https://api.example.com/  # 目标API地址
  # basicAuth: {user: MyUser, password: MyPassword}  # 可选基础认证
  # headers: {"Authorization": "Token"}  # 可选请求头
  schedule: "0/10 * * * * *"  # 每10秒轮询一次

调度表达式格式

支持Cron表达式、预定义调度（如@hourly）或固定间隔（如@every 1h），详细规则见原文档说明。

构建与运行

构建镜像

bash
docker build -t myimage .

运行容器

bash
docker run -d --name myimage -v /path/to/config.yaml:/config.yaml:ro myimage

（替换/path/to/config.yaml为实际配置文件路径）