bazelbuild/buildfarm-worker

Bazel Buildfarm 分片工作节点镜像

镜像概述

本镜像为bazelbuild/bazel-buildfarm项目提供的官方公共容器，实现了分布式构建系统Bazel Buildfarm中的分片工作节点（shard worker）功能。作为Buildfarm架构的核心计算组件，该镜像负责接收并执行来自Buildfarm协调器的具体构建任务，支持大规模分布式构建场景下的任务并行处理。

核心功能和特性

• 分布式任务执行：接收Buildfarm协调器分配的构建任务，并行处理Bazel构建操作，提升整体构建效率
• 协调器通信：与Buildfarm协调器建立稳定连接，实现任务接收、状态汇报和结果反馈的全流程交互
• 资源管控：支持配置CPU、内存等系统资源限制，优化节点资源分配与利用
• 构建缓存支持：兼容Buildfarm的分布式缓存机制，减少重复构建操作，加速任务执行
• 容器化部署：轻量级容器封装，简化分布式构建集群的部署与扩展流程

使用场景和适用范围

• 大型软件项目构建：适用于需要处理海量构建任务的大型软件开发团队，通过分布式架构提升构建吞吐量
• CI/CD流水线集成：可作为持续集成/持续部署系统的构建节点，支持自动化构建流程的横向扩展
• 多团队协作环境：为多团队共享构建基础设施提供独立计算节点，实现资源隔离与任务优先级管理
• 高性能构建集群：部署于企业内部构建农场，作为核心计算单元支撑大规模并行构建任务

使用方法和配置说明

基本启动命令

通过docker run启动分片工作节点，需指定Buildfarm协调器地址：

bash
docker run -d --name buildfarm-shard-worker bazelbuild/buildfarm-shard-worker --coordinator=<协调器地址>:<端口>

核心配置参数

Docker Compose配置示例

yaml
version: '3.8'
services:
  buildfarm-shard-worker:
    image: bazelbuild/buildfarm-shard-worker
    command: >
      --coordinator=buildfarm-coordinator:8980
      --work_dir=/data/buildfarm/worker
      --memory_limit=16G
      --cpu_limit=8
      --log_level=INFO
    volumes:
      - buildfarm-worker-data:/data/buildfarm/worker
    restart: unless-stopped
    networks:
      - buildfarm-network

volumes:
  buildfarm-worker-data:

networks:
  buildfarm-network:
    driver: bridge

注意事项

1. 网络连通性：确保工作节点容器与Buildfarm协调器之间网络通畅，协调器地址需可被容器解析访问
2. 资源配置：根据宿主机硬件资源合理设置--memory_limit和--cpu_limit，避免资源竞争导致任务失败
3. 数据持久化：通过卷挂载--work_dir目录可保留构建缓存，显著提升重复构建任务的执行速度
4. 版本兼容性：需确保工作节点镜像版本与Buildfarm协调器版本匹配，避免协议不兼容问题