mozillarelops/roller

Release Operations Controller（简称"roller"）

这是用于管理Mozilla Firefox发布运营（RelOps）硬件的服务，基于tecken重写了build-slaveapi，旨在帮助从Buildbot迁移到Taskcluster。

架构

服务由以下组件构成：

• Django Rest Framework Web API
• Redis支持的Celery队列
• 一个或多个Celery Worker
  需在***环境后运行。

                 +-----------------------------------------------------------------------------+
                 | VPN                                                                         |
                 |                                                                             |
+------------+   |   +--------------+     +----------------+     +-----------+     +--------+  |
|            |   |   |    Roller    |     |    Roller      |     |  Roller   +----->        |  |
|  TC Dash.  +------->    API       +----->    Queue       +----->  Workers  |     |  HW 1  |  |
|            |   |   |              |     |                |     |           <-----+        |  |
|            <-------+              <-----+                <-----+           |     +--------+  |
|            |   |   |              |     |                |     |           |                 |
+------------+   |   +----+---+-----+     +----------------+     |           |     +--------+  |
                 |                                               |           +----->        |  |
                 |                                               |           |     |  HW 2  |  |
                 |                                               |           <-----+        |  |
                 |                                               |           |     +--------+  |
                 |                                               |           |                 |
                 |                                               |           |     +--------+  |
                 |                                               |           +----->        |  |
                 |                                               |           |     |  HW 3  |  |
                 |                                               |           <-----+        |  |
                 |                                               +-----------+     +--------+  |
                 |                                                                             |
                 |                                                                             |
                 +-----------------------------------------------------------------------------+

数据流程

1. Roller管理员向Taskcluster注册操作后，Taskcluster仪表板的工作人员页面可触发对RelOps机器的操作（如ping、重启）。
2. Taskcluster仪表板向Roller API发送CORS请求。
3. Roller API验证Taskcluster授权头和范围，将任务加入Celery队列。
4. Roller Worker执行队列中的任务，并对硬件进行操作。

API接口

POST /api/v1/workers/$worker_id/group/$worker_group/jobs?task_name=$task_name

用于Taskcluster worker上下文操作的URL，需注册到Taskcluster。

URL参数：

• $worker_id：Taskcluster Worker ID（如ms1-10，长度1-128字符）
• $worker_group：Taskcluster Worker组（如mdc1，通常为数据中心标识，长度1-128字符）

查询参数：

• $task_name：需执行的Celery任务，必须在settings.py的TASK_NAMES列表中。

示例请求：

POST http://localhost:8000/api/v1/workers/dummy-worker-id/group/dummy-worker-group/jobs?task_name=ping
Authorization: Hawk ...

示例响应：

json
{"task_name":"ping","worker_id":"dummy-worker-id","worker_group":"dummy-worker-group","task_id":"e62c4d06-8101-4074-b3c2-c639005a4430"}

部署与运行

基础部署

1. 拉取镜像：

console
docker pull mozilla/relops-hardware-controller
docker pull redis:3.2

2. 复制配置文件：

console
wget https://raw.githubusercontent.com/mozilla-services/relops-hardware-controller/master/.env-dist
cp .env-dist .env

3. 启动容器：

console
docker run --name roller-redis --expose 6379 -d redis:3.2
docker run --name roller-web -p 8000:8000 --link roller-redis:redis --env-file .env mozilla/relops-hardware-controller -d web
docker run --name roller-worker --link roller-redis:redis --env-file .env mozilla/relops-hardware-controller -d worker

配置说明

Roller使用环境变量配置，核心变量包括：

• Web Server：TASKCLUSTER_CLIENT_ID、TASKCLUSTER_ACCESS_TOKEN、CORS_ORIGIN、TASK_NAMES
• Worker：BUGZILLA_URL、BUGZILLA_API_KEY、XEN_URL、XEN_USERNAME、ILO_USERNAME等

测试操作

列出可用命令：

console
docker run --link roller-redis:redis --env-file .env mozilla/relops-hardware-controller manage.py

测试ping命令：

console
docker run --link roller-redis:redis --env-file .env mozilla/relops-hardware-controller manage.py ping -c 4 -w 5 localhost

开发指南

使用docker-compose启动开发环境：

console
make start-web start-worker

运行测试：

console
make current-shell
docker-compose exec web bash
app@xxx:~$ ptw .

添加新硬件管理任务：

1. 创建命令文件（如ping.py）和测试文件。
2. 将命令名称添加到settings.py的TASK_NAMES列表。
3. 向Taskcluster注册新操作。

console
docker run --link roller-redis:redis --env-file .env mozilla/relops-hardware-controller manage.py register_tc_actions [***] my-provisioner-id