Testground

!Testground logo

![]([] ![]([] ![Go Report Card]([] ![CircleCI]([]

镜像概述和主要用途

Testground 是一个用于测试、基准测试和模拟分布式及 P2P 系统的平台。它设计为支持多语言和跨运行时环境，可按需灵活扩展，实例数量从 2 个到 10000 个不等。该平台旨在为开发人员提供一个标准化环境，用于验证分布式系统在不同规模和网络条件下的行为表现。

!Testground demo

核心功能和特性

支持多种测试工作流 💡

(🌕 = 完全支持 // 🌑 = 计划中)

• 实验性/迭代开发 🌖（Protocol Labs 团队已广泛使用 Testground 评估大型网络中的协议变更、模拟攻击、跨网络边界测量算法改进等）
• 调试 🌗
• 比较测试 🌖
• 前后向兼容性测试 🌖
• 互操作性测试 🌑
• 持续集成 🌑
• 利益相关者/验收测试 🌑

简单、标准化、正式的测试运行时环境 📄

测试计划是具有正式契约的黑盒。Testground 负责注入一组环境变量，测试计划则负责在标准输出上 emit 事件，并在输出目录中生成资产。

• 因此，测试计划可以是任何类型的程序，用 Go、JavaScript、C 或 shell 编写均可。
• 目前，我们提供 Go 语言的构建器，TypeScript（node 和浏览器）构建器正在开发中。

模块化构建器和运行器 🛠

用于运行不同语言编写的测试计划，针对不同运行时环境和规模级别：

• exec:go 和 docker:go 构建器：将 Go 编写的测试计划编译为可执行文件或容器。
• local:exec、local:docker、cluster:k8s 运行器：在本地（可执行文件或 Docker）或集群（Kubernetes）中运行测试实例（本地模式适合 2-300 个实例，集群模式适合 300-10000 个实例）。

分布式协调 API 👯‍♀️

基于 Redis 的轻量级 API，提供同步原语，用于协调分布式测试工作负载：

• 通信带外信息（如端点地址、节点 ID 等）
• 利用信号和屏障等同步和排序原语建模分布式状态机
• 以编程方式应用网络流量整形策略，可在测试执行期间调整以模拟各种网络条件

网络流量整形 ☎️

测试实例能够设置连接性、延迟、抖动、带宽、数据包重复、损坏等参数，以模拟各种网络条件。

声明式作业（组合）🎼

通过 TOML 格式的组合文件，指示 Testground：

• 组装包含 2 个、200 个或 10000 个实例组的测试运行，每个实例组可具有不同的测试参数或基于不同的依赖集构建
• 安排在本地（可执行文件或 Docker）或集群（Kubernetes）中运行

结果和诊断 📈

诊断：通过 pprof（适用于 Go 测试计划）提供自动诊断，指标实时发送到 InfluxDB。指标可以是原始数据点或聚合测量值（如直方图、计数器、仪表、移动平均值等）。

结果：测试计划结束时，所有结果批量推送到 InfluxDB，以便后续探索、分析和可视化。

使用场景和适用范围

Testground 适用于需要验证分布式系统行为的场景，包括：

• 协议变更在大型网络中的影响评估
• 分布式算法的性能基准测试
• P2P 网络的攻击模拟和防御验证
• 不同版本软件组件的兼容性测试
• 网络条件变化（延迟、带宽限制等）对系统行为的影响分析
• 大规模节点部署下的系统稳定性测试

详细使用方法和配置说明

前提条件

• Go 1.16 或更高版本
• Docker 守护进程正在运行

安装步骤

$ git clone [***]

$ cd testground

$ make install       # 构建 testground 和 Docker 镜像，供 local:docker 运行器使用

$ testground daemon  # 启动守护进程，默认监听 localhost:8042

运行测试计划

1. 打开新终端（客户端），在同一目录下执行以下命令导入测试计划：

# 将网络测试计划从本仓库导入到 $TESTGROUND_HOME/plans
# 有关此路径的更多信息，请访问 [***]
$ testground plan import --from ./plans/network

2. 运行测试用例：

# 运行 network 计划中的 ping-pong 测试用例的两个实例，
# 使用 docker:go 构建，local:docker 运行
$ testground run single --plan=network --testcase=ping-pong \
                        --builder=docker:go --runner=local:docker \
                        --instances=2

导入外部测试计划

项目无关的测试计划

仓库的 plans 目录中包含一些基本的、与项目无关的 Testground 测试计划，可通过以下命令链接到 $TESTGROUND_HOME/plans：

$ # 从仓库根目录运行以下命令，将所有测试计划符号链接到 $TESTGROUND_HOME/plans
$ ln -s $PWD/plans/* $HOME/testground/plans
$ testground run single --plan network --testcase ping-pong --builder=docker:go --runner=local:docker --instances=2

项目特定的测试计划

可从以下仓库获取项目特定的测试计划：

• [***]
• [***]

使用以下命令导入到 $TESTGROUND_HOME/plans：

$ testground plan import --git --from [***] --name libp2p
$ testground plan import --git --from [***] --name ipfs

# 运行 libp2p/dht 测试计划中的 find-peers 测试用例（示例命令）
$ testground run single --plan libp2p/dht --testcase find-peers --builder docker:go --runner local:docker <选项>

工作原理

1. 开发分布式测试计划，就像编写针对本地 API 的单元测试一样：

   • 无需傀儡技术
   • 无需将被测系统或组件打包并作为单独的守护进程运行
   • 无需为了测试而通过外部 API 公开每个内部设置

2. 测试计划调用协调 API 以：

   • 通信带外信息（如端点地址、节点 ID 等）
   • 利用信号和屏障等同步和排序原语建模分布式状态机
   • 以编程方式应用网络流量整形策略，可在测试执行期间调整以模拟各种网络条件

3. 没有特殊的"指挥"节点告诉实例何时做什么。编排和排序由测试计划本身内部实现。

4. 决定要测试的上游软件版本：

   • 针对组件的 v1.1 和 v1.2 版本进行基准测试、模拟、实验、攻击等，以比较结果或测试兼容性
   • 组装混合测试运行，混合依赖图的各种版本

5. 在测试计划中：

   • 记录观察结果、指标、成功/失败状态
   • 生成要收集的结构化或非结构化资产（如事件日志、转储、快照、二进制文件等）

6. 通过基于 TOML 的组合文件，指示 Testground：

   • 组装包含 2 个、200 个或 10000 个实例组的测试运行，每个实例组可具有不同的测试参数或基于不同的依赖集构建
   • 安排在本地（可执行文件或 Docker）或集群（Kubernetes）中运行

7. 使用单个命令收集测试计划的输出，并使用数据处理脚本和平台（如即将推出的 Jupyter notebooks 集成）得出结论。

贡献

请在贡献前阅读我们的 贡献指南。

团队

核心团队 💪

• @raulk 🎈（创始人、项目负责人、技术产品负责人、架构师）
• @nonsense ⛷（技术负责人 + 核心工程师）
• @coryschwartz 🦉（核心工程师）
• @hacdias 😂（核心工程师）

协作者 ❤

@daviddias, @stebalien, @jimpick, @aschmahmann, @dirkmc, @yusefnapora。

会议记录

Testground 团队会议记录可在 github.com/testground/pm 找到。

许可证

双重许可：MIT、Apache Software License v2，遵循 Permissive License Stack。

更多文档

完整文档请访问 docs.testground.ai。如有任何问题或不准确之处，请通过 在本仓库提交文档 issue 报告。