rudderlabs/rudder-server

Rudder 数据平面栈镜像文档

镜像概述和主要用途

Rudder 数据平面栈镜像是 Rudder 客户数据平台（CDP）的核心执行组件，负责数据的接收、处理、转换与路由。作为数据流程的核心执行层，该镜像实现了从数据源（如网站、移动应用、服务器）到目标系统（如分析工具、CRM、数据仓库、营销平台）的端到端数据传递，支持企业构建灵活、可扩展的客户数据管道。

核心功能和特性

数据处理与集成能力

• 多源数据接收：支持 HTTP API、Kafka、WebSocket 等多种协议，兼容结构化与非结构化数据输入
• 实时流处理：基于流处理架构设计，实现毫秒级数据处理延迟，满足实时数据需求
• 灵活数据转换：内置 JSONata、JavaScript 等转换引擎，支持自定义数据格式转换与字段 enrichment

路由与分发机制

• 动态路由规则：基于事件属性、用户 segments、环境变量等配置条件路由策略，支持复杂业务逻辑
• 多目标集成：预置 300+ 主流目标系统连接器（如 Google Analytics、Salesforce、***、BigQuery 等）
• 投递模式适配：支持实时单条投递与批量聚合投递，适配不同目标系统的吞吐量要求

可靠性与可扩展性

• 高可用架构：无状态设计支持水平扩展，可通过 Docker Swarm 或 Kubernetes 构建集群
• 故障恢复机制：本地持久化缓存与数据重放能力，保障数据零丢失
• 监控可观测性：暴露 Prometheus 指标接口，支持监控吞吐量、延迟、错误率等关键指标

使用场景和适用范围

典型使用场景

• 客户数据整合：电商平台整合网站浏览、购物车操作、支付行为等数据，同步至数据仓库与营销工具
• 产品分析管道：SaaS 应用将用户功能使用、错误日志等事件路由到分析平台（如 Amplitude、Mixpanel）与数据湖
• 营销自动化：营销团队基于用户行为事件（如邮件打开、链接点击）触发多渠道营销活动，实时同步至 CRM 与营销平台
• 实时数据同步：数据工程团队构建从业务系统日志到实时监控平台的数据管道

适用范围

• 企业级客户数据平台部署
• 需连接多数据源与多目标系统的数据集成场景
• 对数据处理延迟、可靠性有严格要求的业务（如实时推荐、欺诈检测）
• 中小型团队的轻量级数据路由需求

使用方法和配置说明

基本运行命令

通过 Docker 直接运行（替换 <version> 为具体版本号）：

bash
docker run -d \
  --name rudder-data-plane \
  -p 8080:8080 \  # 数据接收 API 端口
  -p 9090:9090 \  # 监控指标端口
  -v /path/to/local/config:/etc/rudder \  # 挂载配置文件目录
  -e RUDDER_CONFIG_FILE=/etc/rudder/config.yaml \  # 指定配置文件路径
  -e LOG_LEVEL=info \  # 日志级别：debug/info/warn/error
  rudderstack/rudder-server:<version>

Docker Compose 配置示例

创建 docker-compose.yml 实现完整部署（含依赖数据库）：

yaml
version: '3.8'
services:
  rudder-data-plane:
    image: rudderstack/rudder-server:<version>
    container_name: rudder-data-plane
    ports:
      - "8080:8080"  # 数据接收端口
      - "9090:9090"  # 监控端口
    volumes:
      - ./config:/etc/rudder  # 配置文件目录
      - ./data:/var/rudder/data  # 持久化缓存目录
    environment:
      - RUDDER_CONFIG_FILE=/etc/rudder/config.yaml
      - LOG_LEVEL=info
      - DB_HOST=postgres
      - DB_PORT=5432
      - DB_USER=rudder
      - DB_PASSWORD=rudderpass
      - DB_NAME=rudder_data_plane
    depends_on:
      - postgres

  postgres:
    image: postgres:14
    container_name: rudder-postgres
    environment:
      - POSTGRES_USER=rudder
      - POSTGRES_PASSWORD=rudderpass
      - POSTGRES_DB=rudder_data_plane
    volumes:
      - postgres-data:/var/lib/postgresql/data

volumes:
  postgres-data:

核心配置说明

配置文件结构（config.yaml）

核心配置示例：

yaml
# 数据接收服务配置
server:
  http:
    port: 8080
    readTimeout: 10s
    writeTimeout: 30s
    maxHeaderBytes: 1048576  # 1MB

# 数据处理配置
processing:
  concurrency: 4  # 处理线程数
  batchSize: 100  # 批处理大小
  retryMaxAttempts: 5  # 投递失败重试次数
  retryBackoff: "exponential"  # 重试策略：exponential/fixed

# 路由规则配置（支持通过 Rudder 控制台 UI 可视化配置）
routes:
  - name: "product-events-route"
    source: "product-tracking"  # 数据源标识
    destinations: ["google-analytics-4", "snowflake"]
    condition: "event.type in ['product_view', 'add_to_cart']"  # JSONata 条件表达式
    transform: |  # 数据转换脚本（JSONata）
      {
        "event": $event,
        "properties": {
          "productId": $properties.product_id,
          "price": $properties.price,
          "timestamp": $timestamp
        },
        "userId": $user_id
      }

# 目标系统配置
destinations:
  google-analytics-4:
    type: "google-analytics-4"
    config:
      measurementId: "G-XXXXXXXXXX"
      apiSecret: "your-ga4-api-secret"
  snowflake:
    type: "snowflake"
    config:
      account: "xy12345.us-west-2"
      warehouse: "ANALYTICS_WH"
      database: "CUSTOMER_EVENTS"
      schema: "RAW"
      auth:
        type: "key-pair"
        privateKey: "/etc/rudder/keys/snowflake_private_key.p8"

环境变量配置

常用环境变量说明：

集群部署与扩展

水平扩展方案

• 部署多个数据平面实例，通过负载均衡器（如 Nginx、AWS ALB）分发流量
• 确保所有实例连接同一元数据库与共享缓存存储（如 Redis、S3）

Kubernetes 部署

通过 Helm Chart 部署（参考 Rudder 官方 Helm 仓库）：

bash
helm repo add rudderstack https://charts.rudderstack.com
helm install rudder-data-plane rudderstack/rudder-server \
  --namespace rudder-system \
  --create-namespace \
  --set image.tag=<version> \
  --set config.existingConfigMap=rudder-config \
  --set db.host=rudder-postgres.rudder-system.svc.cluster.local \
  --set resources.requests.cpu=1 \
  --set resources.requests.memory=2Gi \
  --set hpa.enabled=true \
  --set hpa.minReplicas=3 \
  --set hpa.maxReplicas=10 \
  --set hpa.targetCPUUtilizationPercentage=70

初始化与维护

• 数据库初始化：首次运行需执行数据库迁移：

  bash
  docker exec -it rudder-data-plane ./rudder-server db migrate
  

• 配置热加载：修改配置后可通过 API 热加载，无需重启容器：

  bash
  curl -X POST http://<container-ip>:8080/api/v1/config/reload
  

• 日志查看：

  bash
  docker logs -f rudder-data-plane --tail 100
  

注意事项

• 生产环境建议使用外部托管数据库（如 AWS RDS、Azure PostgreSQL），避免容器内数据库数据丢失
• 敏感配置（如 API 密钥、数据库凭证）建议通过环境变量或 secrets 管理工具（如 Docker Secrets、Kubernetes Secrets）注入，避免硬编码在配置文件中
• 定期备份元数据库与持久化缓存数据，防止数据丢失
• 高流量场景下建议启用 Kafka 作为数据接收缓冲层，避免峰值流量冲击处理节点