iiiorg/newman-runner

newman-runner

概述

newman-runner是一个基于Newman的CI/CD工具，专为devops-system测试功能设计。该工具能够从指定的API服务器（https://github.com/iii-org/devops-system%EF%BC%89%E8%8E%B7%E5%8F%96%E6%95%B0%E6%8D%AE%EF%BC%8C%E6%89%A7%E8%A1%8CNewman%E6%B5%8B%E8%AF%95%EF%BC%8C%E5%B9%B6%E5%B0%86%E6%B5%8B%E8%AF%95%E7%BB%93%E6%9E%9C%E6%8E%A8%E9%80%81%E5%9B%9EAPI%E6%9C%8D%E5%8A%A1%E5%99%A8%EF%BC%8C%E5%AE%9E%E7%8E%B0%E6%B5%8B%E8%AF%95%E6%B5%81%E7%A8%8B%E7%9A%84%E8%87%AA%E5%8A%A8%E5%8C%96%E3%80%82

核心功能与特性

• 与devops-system API服务器集成，自动获取测试数据
• 运行Newman执行Postman测试集合
• 将测试结果自动推送回API服务器
• 支持通过环境变量配置测试参数
• 生成结构化的测试报告并存储

使用场景

适用于devops流程中的自动化测试环节，特别是需要对API服务进行持续集成测试的场景，可嵌入CI/CD流水线实现测试自动化。

使用方法

拉取镜像

bash
docker pull iiiorg/newman-runner

基本运行命令

bash
# 创建符号链接指向待扫描目录
ln -s <需要扫描的目录> repo

# 运行容器
docker run \ 
  --env username=<API服务器用户名> \
  --env password=<API服务器密码> \
  --env git_url=http://10.50.1.53/root/rotest.git \ # GitLab仓库的.git URL
  --env api_origin=http://127.0.0.1:10009 \ # API服务器地址
  --env test_origin=http://127.0.0.1:10010 \ # 待测试服务器地址
  --env git_branch=master \ # 测试分支名称
  --env git_commit_id=aec8d49b \ # 测试提交ID
  iiiorg/newman-runner

使用.env文件

bash
# 使用.env文件配置环境变量
docker run --env-file=.env iiiorg/newman-runner

配置说明

环境变量

注意事项

• 工作目录必须与app.js所在目录保持一致
• 必须提供Postman JSON文件，路径为：
  • $GIT_ROOT/iiidevops/postman/postman_collection.json（测试集合）
  • $GIT_ROOT/iiidevops/postman/postman_environment.json（环境配置）
• Postman环境中需使用名为test_origin的变量作为请求的基础地址，格式如{{test_origin}}/user/login，且不要在环境文件中定义test_origin

报告格式

执行报告以JSON字符串形式存储在数据库的report列中，包含两部分测试结果：

• in_db：数据库中的测试结果
• json_file：仓库中Postman集合的测试结果

报告示例

json
{
   "in_db":{
      "assertions":{
         "total":0,
         "pending":0,
         "failed":0
      },
      "executions":[
         
      ]
   },
   "json_file":{
      "assertions":{
         "total":3,
         "pending":0,
         "failed":1
      },
      "executions":[
         {
            "name":"login_AM",
            "method":"POST",
            "path":"user/login",
            "assertions":[
               
            ]
         },
         {
            "name":"Project list",
            "method":"GET",
            "path":"project/list",
            "assertions":[
               {
                  "assertion":"success test"
               },
               {
                  "assertion":"message test"
               },
               {
                  "assertion":"this should fail",
                  "error_message":"expected 'success' to deeply equal 'failed'"
               }
            ]
         }
      ]
   }
}

报告说明

• assertions：包含测试断言统计，包括总断言数、待处理断言数和失败断言数
• executions：包含每个测试用例的详细执行信息
• executions.assertions：每个断言的结果，仅当测试出错时包含error_message键，无该键表示断言成功