ytsaurus/queue-agent-nightly

Queue agent 镜像文档

概述

Queue agent是一个专为YTsaurus平台设计的服务，主要功能是管理队列（也称为有序动态表）。它在YTsaurus生态系统中负责队列的创建、维护、监控及动态调整，确保数据在队列中的有序处理和高效流转。

核心功能与特性

• 队列全生命周期管理：支持YTsaurus环境中有序动态表的创建、配置更新和状态监控
• 有序数据处理保障：维护队列中数据的严格顺序，满足顺序依赖性业务场景需求
• 与YTsaurus深度集成：无缝对接YTsaurus平台的数据存储和计算能力，确保兼容性
• 动态调整能力：可根据系统负载和业务需求动态调整队列参数，优化资源利用效率

使用场景与适用范围

• YTsaurus环境中需要有序数据处理的业务场景
• 基于队列进行任务调度、数据缓冲或异步处理的应用系统
• 对动态表进行集中管理和监控的大数据处理平台
• 需要保障数据处理顺序的流式数据处理场景

使用方法与配置说明

基本部署命令（Docker Run）

bash
docker run -d \
  --name queue-agent \
  -e YTSAURUS_CLUSTER=<ytsaurus-cluster-endpoint> \
  -e LOG_LEVEL=INFO \
  -v /host/path/to/config:/etc/queue-agent/config \
  ytsaurus/queue-agent:latest

环境变量配置

配置文件示例（config.yaml）

yaml
queues:
  - name: task-processing-queue
    type: ordered_dynamic_table
    attributes:
      partition_count: 8
      replication_factor: 3
      chunk_size: 64MB
    retention_policy:
      max_age: 168h  # 7天
      max_row_count: 1000000
  - name: event-stream-queue
    type: ordered_dynamic_table
    attributes:
      partition_count: 16
      replication_factor: 2
    retention_policy:
      max_size: 500GB

验证与监控

1. 查看服务状态：

   bash
   docker exec -it queue-agent /app/queue-agent status
   

2. 访问 metrics 端点：

   http://<container-ip>:9090/metrics
   

3. 日志会记录关键事件和错误信息，便于排查问题。

注意事项：

• 确保YTsaurus集群与容器网络互通
• 配置文件中的队列名称需符合YTsaurus命名规范
• 根据业务负载合理配置分区数量和副本因子