iptestground/testground

Testground

!https://raw.githubusercontent.com/testground/pm/master/logo/TG_Banner_GitHub.jpg

![]([] ![]([] ![Go Report Card]([] ![CircleCI]([]

Testground 是一个用于测试、基准测试和模拟分布式及P2P系统的平台，支持在大规模环境下运行。它设计为多语言和运行时无关，可根据需要从2个实例无缝扩展到10k个实例。

!https://github.com/testground/pm/blob/master/img/testground-demo.gif?raw=true

目录

• 快速开始
• 文档
• 工作原理
• 功能特性
• 测试计划位置
• 贡献指南
• 团队
• 许可证

快速开始

注意：目前我们不提供二进制分发，因此您需要从源代码构建。

前提条件：Go 1.16+，Docker 守护进程正在运行。

shell
$ git clone https://github.com/testground/testground.git

$ cd testground

$ make install       # 构建 testground 和 Docker 镜像，供 local:docker 运行器使用。

$ testground daemon  # 默认将启动监听 localhost:8042 的守护进程。

# => 打开另一个控制台（客户端），在相同目录（testground/testground 仓库检出目录）中

# 将此仓库中的网络测试计划导入 $TESTGROUND_HOME/plans
# 有关此路径的更多信息，请访问 https://docs.testground.ai/getting-started#running-testground
$ testground plan import --from ./plans/network

# 运行 network 计划中的 ping-pong 测试用例的两个实例，
# 使用 docker:go 构建，使用 local:docker 运行
$ testground run single --plan=network --testcase=ping-pong \
                        --builder=docker:go --runner=local:docker \
                        --instances=2

有关更多信息，请参见快速开始和我们文档网站上的其他文档！🚀

文档

本 README 只是冰山一角！请访问我们的完整文档网站 docs.testground.ai。

在那里，您将找到概念性的系统概述、编写测试计划的提示、运行测试计划的说明、配置运行器和构建器、部署 Kubernetes 集群等更多内容。

如果发现任何问题或不准确之处，请https://github.com/testground/testground/issues/new?assignees=&labels=docs&template=DOCS.md&title=docs%20site:%20%3Cdescribe%20the%20problem%3E%E3%80%82

工作原理

1. 您开发分布式测试计划，就像编写针对本地 API 的单元测试一样。

   • 无需木偶操作。
   • 无需将被测系统或组件打包并作为单独的守护进程部署。
   • 无需为了测试而通过外部 API 公开每个内部设置。

2. 您的测试计划调用协调 API 以：

   • 通信带外信息（如端点地址、对等节点 ID 等）。
   • 利用同步和排序原语（如信号和屏障）来建模分布式状态机。
   • 以编程方式应用网络流量整形策略，您可以在测试执行期间更改这些策略以模拟各种网络条件。

3. 没有特殊的“指挥”节点告诉实例何时做什么。 编排和排序由测试计划本身内部实现。

4. 您可以决定要针对哪些上游软件版本执行测试。

   • 针对组件的 v1.1 和 v1.2 版本进行基准测试、模拟***、实验、运行***等，以比较结果或测试兼容性。
   • 组装混合测试运行，混合各种依赖集的不同版本。

5. 在测试计划内部：

   • 记录观察结果、指标、成功/失败状态。
   • 生成您想要收集的结构化或非结构化资产，如事件日志、转储、快照、二进制文件等。

6. 通过基于 TOML 的组合文件，您指示 Testground 执行：

   • 组装包含 2 个、200 个或 *** 个实例组的测试运行，每个实例具有不同的测试参数，或针对不同的依赖集构建。
   • 安排它们在本地（可执行文件或 Docker）或集群（Kubernetes）中运行。

7. 您通过单个命令收集测试计划的输出， 并使用数据处理脚本和平台（如即将推出的 Jupyter notebooks 集成）得出结论。

功能特性

支持（或旨在支持）各种测试工作流 💡

（🌕 = 完全支持 // 🌑 = 计划中）

• 实验性/迭代开发 🌖（Protocol Labs 的团队已广泛使用 Testground 来评估大型网络中的协议更改、模拟***、跨网络边界测量算法改进等。）
• 调试 🌗
• 比较测试 🌖
• 向后/向前兼容性测试 🌖
• 互操作性测试 🌑
• 持续集成 🌑
• 利益相关者/验收测试 🌑

简单、标准化、正式的测试运行环境 📄

测试计划是具有正式契约的黑盒。Testground 承诺注入一组环境变量，测试计划承诺在标准输出上发出事件，并在输出目录中生成资产。

• 因此，测试计划可以是任何类型的程序，用 Go、JavaScript、C 或 shell 编写。
• 目前，我们提供 Go 构建器，TypeScript（node 和浏览器）正在开发中。

模块化构建器和运行器 🛠

用于运行以不同语言编写、针对不同运行时和规模级别的测试计划：

• exec:go 和 docker:go 构建器：将 Go 编写的测试计划编译为可执行文件或容器。
• local:exec、local:docker、cluster:k8s 运行器：在本地（适合 2-300 个实例）或集群（Kubernetes，适合 300-10k 个实例）中运行可执行文件或容器。

有空闲时间并想添加对 Rust、Python 或其他语言编写的测试计划的支持吗？这很简单！打开一个 issue，社区将为您提供指导！

分布式协调 API 👯‍♀️

基于 Redis 的轻量级 API，提供同步原语，以协调和编排跨节点集群的分布式测试工作负载。

网络流量整形 ☎️

测试实例能够设置连接性、延迟、抖动、带宽、重复、数据包损坏等，以模拟各种网络条件。

AWS 上的快速 Kubernetes 集群设置 ☁️

按照 https://github.com/testground/infra 中的说明，在 AWS 上创建准备运行 Testground 作业的 Kubernetes 集群。

上游依赖选择 🧩

针对特定版本的上游依赖编译测试计划（例如 moduleX v0.3 或 commit 1a2b3c）。

处理上游 API 变更 🌱

以便单个测试计划能够适应被测组件随时间演变的一系列版本。

结果和诊断、原始和聚合数据点 📈

诊断： 通过 pprof（适用于 Go 测试计划）自动诊断，指标实时发送到 InfluxDB。指标可以是原始数据点或聚合测量值，如直方图、计数器、仪表、移动平均值等。

结果： 测试计划结束时，所有结果批量推送到 InfluxDB，以便后续探索、分析和可视化。

声明式作业，我们称之为组合 🎼

通过声明式组合场景创建定制的测试运行，包含不同的组、队列、上游依赖、测试参数等。

生成和收集测试输出 💾

从运行中的所有参与者生成和收集/导出/下载测试输出（日志、资产、事件跟踪、运行事件等）。

测试计划位置

plans 目录中包含一些基本的、与项目无关的 Testground 测试计划。我们使用这些计划来验证 Testground 本身的功能。

要将它们链接到 $TESTGROUND_HOME/plans 下，如果您使用默认路径，以下命令应该可以（假设您已经运行过 Testground 守护进程一次，因此 $TESTGROUND_HOME 布局已为您创建）：

shell
$ # 从本仓库的根目录运行以下命令；它将把所有测试计划符号链接到 $TESTGROUND_HOME/plans 下
$ ln -s $PWD/plans/* $HOME/testground/plans
$ testground run single --plan network --testcase ping-pong --builder=docker:go --runner=local:docker --instances=2

有关特定项目的测试计划，请查看这些仓库：

• https://github.com/libp2p/test-plans
• https://github.com/ipfs/test-plans

要使用它们，请使用以下 testground 命令将它们导入 $TESTGROUND_HOME/plans：

shell
$ testground plan import --git --from https://github.com/libp2p/test-plans.git --name libp2p
$ testground plan import --git --from https://github.com/ipfs/test-plans.git --name ipfs
$ # 运行 libp2p/dht 测试计划中的 find-peers 测试用例（这不是完整命令！）
$ testground run single --plan libp2p/dht --testcase find-peers --builder docker:go --runner local:docker <options>

贡献指南

请在贡献前阅读我们的贡献指南。

团队

核心团队 💪

• https://github.com/raulk 🎈（创始人、项目负责人、技术产品负责人、架构师）
• https://github.com/nonsense ⛷（技术负责人 + 核心工程师）
• https://github.com/coryschwartz 🦉（核心工程师）
• https://github.com/hacdias 😂（核心工程师）

协作者 ❤

https://github.com/daviddias%E3%80%81https://github.com/stebalien%E3%80%81https://github.com/jimpick%E3%80%81https://github.com/aschmahmann%E3%80%81https://github.com/dirkmc%E3%80%81https://github.com/yusefnapora%E3%80%82

会议记录

您可以在 https://github.com/testground/pm/tree/master/_meeting-notes 找到 Testground 团队会议的记录。

许可证

双重许可：MIT、Apache Software License v2，通过许可协议栈授权。