smartcitiesdata/discovery_api

镜像概述

该Docker镜像是一款轻量级数据中间件，核心定位为数据消费者与数据源之间的连接枢纽。通过统一接口抽象与协议适配，实现不同类型数据消费者（如应用系统、API客户端）与多样化数据源（如数据库、消息队列、第三方API）的无缝对接，降低跨系统数据交互复杂度，提升数据流转效率。

核心功能与特性

1. 数据中转与路由

• 支持多路径数据转发，可基于请求参数、消费者标识动态路由至目标数据源
• 内置负载均衡机制，优化多数据源场景下的请求分发

2. 协议与格式转换

• 自动适配主流数据协议（HTTP/HTTPS、MQTT、AMQP、JDBC等）
• 支持JSON、XML、CSV等常见数据格式的双向转换

3. 请求处理与优化

• 提供请求过滤、限流与重试机制，保障数据交互稳定性
• 支持数据缓存配置，减少重复数据源访问压力

4. 连接管理与监控

• 内置数据源连接池，优化长连接资源利用
• 提供实时监控接口，输出连接状态、吞吐量等关键指标

使用场景与适用范围

企业数据集成

• 适用于多系统数据互通场景，如ERP、CRM与数据仓库的实时数据同步
• 解决异构数据源（关系型数据库、NoSQL、文件存储）的统一接入问题

微服务架构数据交互

• 作为微服务间的数据交互枢纽，简化服务间直接依赖
• 支持跨语言微服务（Java、Python、Go等）的数据协议适配

第三方数据对接

• 统一管理外部API（如支付接口、物流系统）的接入与请求规范
• 隔离数据源变更对消费者的影响（如接口版本升级、地址迁移）

使用方法与配置说明

基础部署（Docker Run）

bash
docker run -d --name data-middleware \
  -p 8080:8080 \  # 中间件服务端口
  -v /host/config:/app/config \  # 挂载自定义配置文件（可选）
  -e LOG_LEVEL=INFO \  # 日志级别：DEBUG/INFO/WARN/ERROR
  -e MAX_CONCURRENT=100 \  # 最大并发连接数
  your-registry/data-middleware:latest

核心环境变量配置

数据源配置示例（通过配置文件）

挂载配置文件/host/config/datasources.yaml至容器/app/config目录，示例内容：

yaml
datasources:
  - id: mysql-source
    type: jdbc
    connectionString: "jdbc:mysql://mysql-host:3306/sales_db"
    username: "middleware_user"
    password: "secure_pass"
    poolSize: 20
  - id: kafka-source
    type: kafka
    bootstrapServers: "kafka-broker1:9092,kafka-broker2:9092"
    topic: "user-behavior"
    consumerGroup: "middleware-group"

消费者接入示例

通过HTTP POST请求接入中间件（默认端口8080）：

bash
curl -X POST http://middleware-host:8080/data/query \
  -H "Content-Type: application/json" \
  -d '{
    "sourceId": "mysql-source",
    "query": "SELECT id, name FROM customers WHERE create_time > NOW() - INTERVAL 1 DAY",
    "format": "json"
  }'

响应示例：

json
{
  "code": 200,
  "message": "success",
  "data": [
    {"id": 1001, "name": "企业A"},
    {"id": 1002, "name": "企业B"}
  ],
  "timestamp": 1698765432100
}

注意事项

• 生产环境建议通过-v挂载持久化配置文件，避免容器重启后配置丢失
• 高并发场景下需调整MAX_CONCURRENT与数据源连接池参数，避免资源瓶颈
• 敏感信息（如数据库密码）建议通过Docker Secrets或环境变量加密注入