ghcr.io/getsentry/taskbroker:6e0120d15560aca6a5db94d68066d5eb7c6826ea-amd64

Taskbroker

Taskbroker 提供 Kafka 消费者、RPC 接口和进行中任务存储，构成 Sentry 异步任务执行的核心引擎。本仓库还包含 Python 客户端库。

高层概览

flowchart LR

Sentry -- 生成激活任务 --> k[(Kafka)]
k -- 消费消息 --> Taskbroker
Taskbroker -- 存储 --> sql[(SQLite)]
Worker -- gRPC GetTask --> Taskbroker
Worker -- gRPC SetTaskStatus --> Taskbroker

Sentry（以及未来的其他应用）生成任务激活信息。Taskbroker 消费这些消息并将其存储在 SQLite 数据库中，以避免队头阻塞，支持乱序执行和按任务确认。

Worker 通过 gRPC 与 Taskbroker 通信。主要有两个 gRPC 方法：

• GetTask：Worker 可以向 Taskbroker 请求任务。
• SetTaskStatus：Worker 完成任务后，使用 SetTaskStatus 报告任务结果。

构建

Taskbroker 使用 Rust 编写，需要最新稳定版 Rust 编译器。要编译，请运行：

cargo build --release

生成的二进制文件位于 target/release/ 目录中，同时包含调试信息文件。

开发

构建 taskbroker 需要最新稳定版 Rust 和 protoc。仓库根目录包含一个 Makefile，其中包含常用的开发命令：

• devenv sync：运行设置任务以创建和配置开发环境。
• make unit-test：运行 Rust 测试。
• make integration-test：运行端到端测试。
• make format：使用 cargo fmt 和 cargo clippy 格式化 Rust 代码。

构建与运行

运行 taskbroker 最简单的方式是使用 cargo。您还需要运行 Kafka。Kafka 通常通过 https://github.com/getsentry/devservices 管理：

# 使用默认配置运行
cargo run

# 使用特定配置文件运行
cargo run -- -c ./config/config-sentry-dev.yaml

配置

Taskbroker 使用 YAML 文件进行配置，所有可用配置选项可在 https://github.com/getsentry/taskbroker/blob/main/src/config.rs#L15 中找到。

所有配置选项也可以使用 TASKBROKER_ 前缀定义为环境变量。

测试

测试套件包括 Rust 中的单元测试和集成测试，以及用 Python 编写的端到端测试脚本。

# 运行单元/集成测试
make unit-test

# 运行端到端测试
make integration-test

代码检查

我们使用最新稳定版的 rustfmt 和 clippy 进行代码格式化和检查：

# 检查格式问题
make style

# 修复格式和检查问题
make format

Python 客户端

有关更多信息，请参阅 Python 客户端 README。

发布客户端

[!NOTE] 客户端与 broker 分开发布。broker 遵循自托管风格的日历版本号（26.4.0），而客户端使用常规语义化版本号（0.1.8）。不过它们共享标签和发布分支，因此您在 GitHub 上看到的最新发布可能不是您版本号的基准。

1. 使用 https://github.com/getsentry/taskbroker/actions/workflows/release-client.yml
2. 选择“Run workflow”并输入版本号。
3. 这将使用 craft + getsentry/publish 将包添加到内部和公共 PyPI。