80dw/buildfarm-server

镜像概述

该镜像为Bazel Buildfarm服务器的容器化发布版本，用于搭建分布式构建系统的服务端组件，支持Bazel构建任务的调度、队列管理与资源协调，依赖Redis实现状态持久化与通信。

核心功能

• 分布式构建任务的调度与队列管理
• 动作缓存（Action Cache）与内容可寻址存储（CAS）的生命周期管理
• 与Redis集成实现任务状态、缓存数据的存储与通信
• 支持配置化的缓存过期策略、队列深度限制等参数

使用场景

适用于需要大规模分布式构建的软件开发团队或项目，可部署在CI/CD流水线中，提升多模块、多平台项目的构建效率，减少重复构建时间。

配置说明

需准备shard-server.config配置文件，指定实例名称、Redis连接信息、缓存过期时间、队列深度等参数。配置示例如下：

instances {
  name: "shard"
  digest_function: SHA256
  shard_instance_config: {
    run_dispatched_monitor: true
    dispatched_monitor_interval_seconds: 1
    run_operation_queuer: true
    max_blob_size: 4294967296
    redis_shard_backplane_config: {
      redis_uri: "redis://localhost:6379"
      jedis_pool_max_total: 4000
      workers_hash_name: "Workers"
      worker_channel: "WorkerChannel"
      action_cache_prefix: "ActionCache"
      action_cache_expire: 2419200 # 4周
      action_blacklist_prefix: "ActionBlacklist"
      action_blacklist_expire: 3600 # 1小时
      operation_prefix: "Operation"
      operation_expire: 604800 # 1周
      pre_queued_operations_list_name: "{Arrival}:PreQueuedOperations"
      processing_list_name: "{Arrival}:ProcessingOperations"
      processing_prefix: "Processing"
      processing_timeout_millis: 10000
      queued_operations_list_name: "{Execution}:QueuedOperations"
      dispatching_list_name: "{Execution}:DispatchingOperations"
      dispatching_prefix: "Dispatching"
      dispatching_timeout_millis: 10000
      dispatched_operations_hash_name: "DispatchedOperations"
      operation_channel_prefix: "OperationChannel"
      cas_prefix: "ContentAddressableStorage"
      cas_expire: 604800 # 1周
      subscribe_to_backplane: true
      run_failsafe_operation: true
      max_queue_depth: 100000
      max_pre_queue_depth: 1000000
    }
  }
}
port: 8980
default_instance_name: "shard"

部署示例

步骤1：启动Redis容器

bash
docker run -d --name buildfarm-redis -p 6379:6379 docker.xuanyuan.run/redis:5.0.9

步骤2：启动Buildfarm服务器容器

bash
docker run -d --name buildfarm-server -v $(pwd):/var/lib/buildfarm-server -p 8980:8980 --network host docker.xuanyuan.run/80dw/buildfarm-server:latest /var/lib/buildfarm-server/shard-server.config -p 8980