doofinder/dfe2e

dfe2e 镜像文档

镜像概述和主要用途

dfe2e 是一个端到端测试仓库，旨在通过自动化测试验证 Doofinder 相关项目的功能正确性。目前包含 6 个项目测试：doofapi、doomanager、doophoenix、doophoenix_v6、livelayer 和 livelayer-mobile。该镜像基于 Cypress 和 Docker 构建，支持本地和远程测试执行，通过静态 HTML 文件和预配置的搜索引擎验证各类功能场景。

核心功能和特性

• 多项目测试支持：覆盖 6 个核心项目的端到端测试场景
• 本地/远程执行：提供脚本支持本地 GUI 测试和远程自动化测试
• Docker 集成：通过 Docker Compose 快速搭建测试环境，包含静态 Web 服务器和 Cypress 执行环境
• 预配置测试资源：使用 e2e_testing@doofinder.com 账号下的专用搜索引擎和商店，确保测试环境一致性
• 跨区域支持：EU 和 US 区域使用相同配置的搜索引擎，便于区域切换测试
• 环境变量控制：支持通过环境变量（如 DOOPHOENIX、ZONE）灵活配置测试参数
• CI/CD 集成：提供 Docker 镜像 doofinder/dfe2e，支持与 GitHub Actions 等工具集成

使用场景和适用范围

• 本地开发测试：开发人员在本地环境验证功能变更
• ** staging 环境验证**：通过 GitHub Action 对预发布环境进行自动化测试
• 生产环境验证：执行远程脚本验证生产环境功能稳定性
• 跨区域测试：切换 EU/US 区域测试搜索服务一致性
• CI/CD 流水线集成：作为构建流程的一部分，自动执行端到端测试

详细使用方法和配置说明

快速开始

本地测试

bash
# 首次运行需为每个商店强制处理所有索引到 e2e_testing@doofinder.com 用户
$ ./bin/local.sh project_name  # project_name 为测试项目名称（如 doophoenix、livelayer）

远程测试

bash
$ ./bin/remote.sh project_name

本地挂载结构

• 测试资源：静态 HTML 文件位于 webserver/html/，测试脚本位于 e2e/project_name/cypress/integration
• Docker Compose 服务：
  • e2e-testing.doofinder.com：静态 Web 服务器，提供 webserver/html 目录下的文件
  • e2e：基于 cypress/included:7.7.0 镜像，提供 Cypress 执行环境和 GUI 界面

测试基础架构

搜索引擎

所有测试使用 e2e_testing@doofinder.com 账号下的"测试专用"搜索引擎（位于"Default Store"），每个引擎配置不同测试场景：

注意：EU 和 US 区域的搜索引擎配置完全一致，哈希ID相同。

多区域搜索引擎创建方法

如需在 US 区域创建与 EU 相同的搜索引擎，可在 US1 ipython 控制台执行：

pycon
In [1]: from helpck.users.models import DoofinderUser
In [2]: from helpck.search_engines.models import SearchEngine
In [3]: from helpck.search_engines.usecases.users import send_user_events
In [4]: user = DoofinderUser.objects.get(email='e2e_testing@doofinder.com')
In [5]: a = user.account
In [6]: se = SearchEngine.objects.create(
    site_url='http://e2e-testing.doofinder.com/doophoenix/index.html',
    account=a,
    hashid='7f74a4ff3165fe9882f460d03a40c5d9'  # 替换为目标哈希ID
)
In [7]: send_user_events(se)  # 必须执行，确保事件同步

测试商店

除"Default Store"外，e2e_testing@doofinder.com 账号下包含多个专用测试商店，用于验证不同 live layer 场景：

Live Layer 测试

索引处理命令

bash
# 索引所有 e2e 数据源，运行建议并生成 fakes3 单行 JS 文件
docker exec doomanager-doomanager-1 mix process_indices_suggestions_and_store_configs 2e333961bf48540a1c9a34a55151b6

本地测试命令

bash
# 使用旧本地脚本运行
./bin/local.sh livelayer

# 使用本地唯一脚本运行
./bin/local.sh livelayer loader2-local

# 使用 staging 环境唯一脚本运行
./bin/local.sh livelayer loader2-staging

# 使用生产环境唯一脚本运行
./bin/local.sh livelayer loader2-production

# 使用指定 URL 的脚本运行
./bin/local.sh livelayer loader2-https://whatever.com/loader.js

环境变量配置

doophoenix 参数

• 本地环境：静态页面默认使用 http://doophoenix:4000 作为搜索服务器
• 远程环境：使用环境变量 DOOPHOENIX，未设置时默认使用 eu1-search.doofinder.com

bash
# 示例：设置 US 区域搜索服务器
export DOOPHOENIX="https://us1-search.doofinder.com"

区域切换

通过 ZONE 环境变量切换测试区域：

bash
# US 区域运行 livelayer 测试
$ ZONE=us1 ./bin/remote.sh livelayer

Staging 环境测试

通过 https://github.com/doofinder/live-layer/actions/workflows/e2e_tests_1_15.yml 执行：

1. 确保实例运行（未运行可通过 Action 启动，取消勾选"stop staging at the end"保持实例运行）
2. 从本地运行测试：

bash
# 针对 staging 环境运行 livelayer 测试
$ ENVIRONMENT=staging ./bin/remote.sh livelayer

# 针对 staging 环境运行 livelayer-mobile 测试
$ ENVIRONMENT=staging ./bin/remote.sh livelayer-mobile

3. 测试完成后，通过 Action（勾选"stop staging at the end"）或 AWS 控制台将 Auto Scaling Group 期望容量设为 0 停止实例。

生产环境测试

基本命令

bash
$ ./bin/remote.sh project_name  # 自动同步 s3 仓库并生成测试视频

跨区域测试

bash
# US 区域运行 doophoenix 测试
$ DOOPHOENIX=https://us1-search.doofinder.com ./bin/remote.sh doophoenix

# US 区域运行 livelayer 测试
$ ZONE=us1 ./bin/remote.sh livelayer

测试结果查看

远程测试视频保存在 dfe2e/e2e/project_name/cypress/videos/ 目录。

Docker 镜像使用

私有镜像 doofinder/dfe2e 包含完整测试环境，master 分支提交后由 Docker Hub 自动更新。

bash
# 运行生产测试
docker run --rm doofinder/dfe2e --project project_name

# 带环境变量运行
docker run --rm -e ZONE=us1 doofinder/dfe2e --project livelayer

Cypress "open" 模式配置

修改 docker-compose.yml，将 "run" 替换为 "open" 并移除 --headed 参数：

yaml
# 原配置
command: ["run", "--headed", ...]

# 修改后
command: ["open", ...]  # 移除 "--headed"

已知本地错误及解决方法

连接拒绝错误（ERRORCONNECTIONREFUSED）

bash
# 导出 doophoenix 主机
export DOOPHOENIX="[***]"

# 如 hosts 文件未包含 doophoenix，添加映射
sudo echo "127.0.0.1 doophoenix" >> /etc/hosts