cybernode/cm-exchanges-connector

cybernode/cm-exchanges-connector 镜像说明

镜像概述

cybernode/cm-exchanges-connector是一款数据采集容器，专注于从各类中心化（如Binance）和去中心化（如Uniswap）交易所获取实时交易记录、订单簿等原始数据，并将数据转发至Kafka集群，为***分析、市场监控等场景提供基础数据支撑。

核心功能

1. 多源数据采集：支持同时从多个中心化/去中心化交易所获取数据；
2. 实时数据传输：将采集到的原始数据实时发送至指定Kafka主题；
3. 标准化数据格式：确保不同交易所的数据输出格式统一，便于后续处理。

使用场景

• ***数据分析：为量化交易策略、市场趋势分析提供数据源；
• 实时监控系统：监控交易所交易动态，及时捕捉市场变化；
• 数据仓库构建：作为***数据仓库的上游数据输入源。

配置说明

需通过环境变量配置关键参数：

• KAFKA_BROKERS：Kafka集群的Broker地址（例如：kafka1:9092,kafka2:9092）；
• KAFKA_TOPIC：数据发送的目标Kafka主题名称；
• EXCHANGES_CONFIG：JSON格式的交易所配置（包含API密钥、RPC地址等信息）。

部署示例

Docker Run命令

bash
docker run -d \
  --name cm-connector \
  -e KAFKA_BROKERS="kafka:9092" \
  -e KAFKA_TOPIC="exchange_raw_data" \
  -e EXCHANGES_CONFIG='{"binance":{"api_key":"YOUR_KEY","api_secret":"YOUR_SECRET"},"uniswap":{"rpc_url":"https://eth-mainnet.alchemyapi.io/v2/YOUR_RPC_KEY"}}' \
  cybernode/cm-exchanges-connector

Docker Compose示例

yaml
version: "3.8"
services:
  connector:
    image: cybernode/cm-exchanges-connector
    environment:
      KAFKA_BROKERS: "kafka:9092"
      KAFKA_TOPIC: "exchange_raw_data"
      EXCHANGES_CONFIG: '{"binance":{"api_key":"YOUR_KEY","api_secret":"YOUR_SECRET"},"uniswap":{"rpc_url":"[***]"}}'
    depends_on:
      - kafka
  
  kafka:
    image: confluentinc/cp-kafka:7.3.0
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: "zookeeper:2181"
      KAFKA_ADVERTISED_LISTENERS: "PLAINTEXT://kafka:9092"
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
    depends_on:
      - zookeeper
  
  zookeeper:
    image: confluentinc/cp-zookeeper:7.3.0
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181