weaveworks/weave-gitops-enterprise-event-writer

镜像概述

该Docker镜像专为分布式集群环境设计，核心功能是接收、处理并持久化存储来自叶集群代理（Leaf Cluster Agents）的事件数据及关联元数据，支持跨集群事件数据流的集中化管理与后续分析。

核心功能与特性### 1. 事件处理

• 事件接收：支持多种协议（HTTP、gRPC）接收来自叶集群代理的事件数据
• 事件验证：内置数据校验机制，确保事件格式合规性与完整性
• 事件转换：提供可配置的事件格式转换能力，适配下游存储或分析系统需求

2. 元数据存储

• 结构化存储：采用高性能数据库引擎（如PostgreSQL、MongoDB，依镜像版本而定）存储元数据
• 数据索引：自动为关键元数据字段创建索引，优化查询性能
• 数据生命周期管理：支持配置元数据保留策略，自动清理过期数据

3. 叶集群代理交互

• 多代理适配：兼容主流叶集群监控/管理代理（如Prometheus Agent、Fluentd等）
• 安全通信：支持TLS加密传输，确保事件数据在传输过程中的安全性
• 代理状态监控：内置代理连接状态追踪，提供异常告警能力

4. 可扩展性与可靠性

• 水平扩展：无状态设计支持多实例部署，通过负载均衡实现高并发处理
• 数据持久化：支持外挂存储卷（Volume），确保元数据在容器重启后不丢失
• 故障恢复：内置数据一致性校验机制，支持异常终止后的状态恢复

使用场景与适用范围### 1. 多集群监控系统

在包含多个叶集群（如边缘集群、区域集群）的分布式架构中，作为核心事件收集节点，统一汇聚各集群的运行状态事件（如节点故障、资源告警等）。

2. 分布式日志聚合

配合日志采集代理（如Fluent Bit），接收并存储日志元数据（如日志来源、时间戳、关联服务），为日志检索与分析提供结构化元数据支持。

3. 跨集群事件响应系统

作为事件总线中间节点，处理来自不同叶集群的业务事件（如订单状态变更、用户行为事件），为跨集群业务流程协调提供数据支撑。

使用方法与配置说明### 基本使用（Docker Run）

bash
docker run -d \
  --name event-storage-agent \
  -p 8080:8080 \  # 事件接收端口
  -v /host/path/to/data:/app/data \  # 元数据持久化存储
  -e EVENT_LISTEN_PORT=8080 \
  -e METADATA_STORAGE_TYPE=postgres \  # 存储类型，支持postgres/mongodb
  -e DB_CONN_STRING="postgresql://user:pass@db-host:5432/eventdb" \
  -e AGENT_AUTH_ENABLED=true \
  -e AGENT_AUTH_KEY="your-secure-auth-key" \
  [镜像名称]:[标签]

关键配置参数#### 1. 环境变量

2. 数据卷挂载

• /app/data：元数据本地缓存与临时文件存储目录，建议挂载至宿主机目录以确保数据持久化
• /app/config：自定义配置文件目录（如需覆盖默认配置，可挂载包含config.yaml的目录）

健康检查

容器内置健康检查端点，可通过http://<容器IP>:8080/health访问，返回状态码200表示服务正常。

Docker Compose示例

yaml
version: '3'
services:
  event-storage:
    image: [镜像名称]:[标签]
    container_name: event-storage-agent
    ports:
      - "8080:8080"
    volumes:
      - event-data:/app/data
    environment:
      - EVENT_LISTEN_PORT=8080
      - METADATA_STORAGE_TYPE=postgres
      - DB_CONN_STRING=postgresql://user:pass@postgres:5432/eventdb
      - AGENT_AUTH_ENABLED=true
      - AGENT_AUTH_KEY=your-secure-auth-key
      - DATA_RETENTION_DAYS=30
    depends_on:
      - postgres

  postgres:
    image: postgres:14
    environment:
      - POSTGRES_USER=user
      - POSTGRES_PASSWORD=pass
      - POSTGRES_DB=eventdb
    volumes:
      - postgres-data:/var/lib/postgresql/data

volumes:
  event-data:
  postgres-data:

注意事项

• 生产环境中建议启用AGENT_AUTH_ENABLED并使用强密钥，防止未授权代理接入
• 对于高并发场景，建议通过负载均衡器部署多实例，并调整DATA_RETENTION_DAYS以控制存储容量
• 更换METADATA_STORAGE_TYPE时需确保数据库已提前初始化（如创建必要的表结构或集合）