patchstack/app_repo-circleci-primary

镜像概述和主要用途

该Dockerfile是用于CircleCI 2.0的主镜像，主要支持项目的持续集成/持续部署(CI/CD)流程，包括从git标签创建发布、构建AMI及使用Terraform部署。同时提供本地开发环境的Docker化支持，集成代码风格检查、测试框架和依赖管理，满足开发、测试和部署全流程需求。

核心功能和特性

• CI/CD支持：适配CircleCI 2.0构建流程，实现GitHub Release创建、AMI构建及自动化部署
• 本地开发环境：提供Docker化的后端服务（Redis、Elasticsearch）和依赖管理
• 代码质量保障：集成flake8代码风格检查和black格式化工具
• 测试框架：支持前后端测试执行，包括单文件测试和全量测试
• 灵活部署：通过Terraform实现staging和生产环境的安全部署

使用场景和适用范围

• 项目发布流程：从主分支构建生成标签、创建GitHub Release、构建AMI并部署
• 开发人员本地开发：搭建一致的开发环境，包括前后端服务和数据库
• 代码质量控制：执行代码风格检查和自动化测试
• 依赖管理：添加和更新Python依赖，保持环境一致性

使用方法和配置说明

发布流程（Releasing）

前提条件

• 安装AWS CLI并配置本地AWS凭证
• 安装GitHub gh CLI并通过gh auth login完成认证

创建发布

1. 等待主分支构建成功（状态为绿色）
2. 执行发布脚本：

sh
./create_release.sh

3. 监控CircleCI构建进度（查看链接，查找build_ami工作流），构建约需20分钟
4. 标签在每次主分支构建成功后自动创建，可在https://github.com/EportaTech/app_repo/releases%E6%9F%A5%E7%9C%8B%EF%BC%8C%E6%8C%89%E6%9E%84%E5%BB%BA%E7%BC%96%E5%8F%B7%E6%A0%87%E8%AE%B0

部署到Staging环境

sh
cd infra/terraform/product
terraform workspace select staging
terraform apply

注意：不要在Terraform应用变更和等待事件时中断进程，这可能破坏状态并导致问题

部署到生产环境

1. 确认#deployment Slack频道中已发布部署到staging的提交列表，并获得提交作者确认
2. 执行生产部署：

sh
terraform workspace select prod
terraform apply

本地开发（Working Locally）

工作规范

• 禁止直接在master分支工作
• 必须在分支上开发，通过拉取请求合并到主仓库
• 保持拉取请求小型且频繁

本地开发基于Docker，详见https://github.com/EportaTech/app_repo/wiki/Docker%E3%80%82

环境设置（Setup）

目录和配置文件

1. 创建必要目录并配置权限：

sh
mkdir -p ~/app_home/conf/
# 放置vault_key.txt到~/app_home/conf/（需从团队获取）
sudo chmod -R 600 ~/app_home/conf/
sudo chmod 777 ~/app_home/conf/

2. 配置AWS凭证（~/.aws/credentials）：

[default]
aws_access_key_id=YOUR_ACCESS_KEY
aws_secret_access_key=YOUR_SECRET_KEY

3. 生成配置文件（~/app_home/conf/app_conf.ini和./.env）：

sh
make setup-conf

账户设置

买家账户

1. 访问[***]
2. 使用管理员账户（如firstname.lastname@eporta.com）登录
3. 添加新用户，使用个人***变体（如firstname.lastname+BUYER@eporta.com）
4. 点击"Change Password"设置密码

供应商账户

1. 访问[***]

2. 执行与买家账户相同步骤，使用不同***（如firstname.lastname+SUPPLIER@eporta.com）

3. 手动运行生产数据快照Celery任务，详见操作说明。后续将快照克隆到本地数据库后即可使用这些账户登录。

前端设置

1. 安装nvm（按https://github.com/nvm-sh/nvm#install--update-script%EF%BC%89
2. 安装NodeJS：

sh
nvm install && nvm use

以上命令从.nvmrc获取NodeJS版本

3. 安装yarn：

sh
npm i -g yarn

确保仓库克隆位置对../../.cache/yarn有适当权限（如~/dev/app_repo）

4. 构建旧版客户端：

sh
cd client/legacy
yarn install
yarn build

5. 启动客户端：

sh
cd ..
yarn install
yarn dev

后端设置（无Docker）

适用于macOS，其他Unix系统可能需调整。仍需Docker运行Redis和Elasticsearch。

1. 设置Postgres用户：

sh
/usr/local/opt/postgresql@11/bin/createuser app_user --superuser

2. 安装系统依赖：

sh
brew install pyenv cairo pkg-config pango

3. 安装Python（使用pyenv）：
   • 常规安装：

sh
pyenv install

• macOS 11（Big Sur）需补丁：

sh
LDFLAGS="-L$(xcrun --show-sdk-path)/usr/lib" pyenv install --patch 3.6.9 < <(curl -sSL https://github.com/python/cpython/commit/8ea6353.patch\?full_index\=1)

4. 配置pyenv shims：

sh
eval "$(pyenv init -)"

建议添加到.zshrc：

sh
echo -e 'if command -v pyenv 1>/dev/null 2>&1; then\n  eval "$(pyenv init -)"\nfi' >> ~/.zshrc

5. 创建并激活Python虚拟环境：

sh
python -m venv venv
source venv/bin/activate

6. 安装依赖：

sh
pip install --upgrade pip
pip install -r requirements.txt
pip install -r dev_requirements.txt
pip install -r build_requirements.txt

7. 恢复生产数据库备份到本地：

sh
make clone-localhost-nodocker

8. 运行数据库迁移：

sh
make migrate-nodocker

9. 启动服务：

sh
make start-nodocker

10. 构建搜索索引：
    • 所有供应商（耗时较长）：

sh
make resync-search-nodocker

- 单个供应商：

sh
make resync-search-nodocker SLUG=供应商slug

示例：

sh
make resync-search-nodocker SLUG=tradehub-demo

后端设置（Docker）

1. 构建基础镜像：

sh
make build-base
make build

2. 填充数据库数据：

sh
make clone-localhost

3. 构建搜索索引：
   • 所有供应商：

sh
make resync-search

- 单个供应商：

sh
make resync-search SLUG=供应商slug

示例：

sh
make resync-search SLUG=tradehub-demo

4. 进入web容器（访问http://localhost:8000）：

sh
make bash

5. 创建管理员用户：

sh
./manage.py create_admin_user -e jo.bloggs@eporta.com -f Jo -l Bloggs

Python代码风格

使用flake8和black进行代码检查和格式化：

• 运行flake8：make flake8
• 运行black：make black

运行后端测试

1. 完成环境设置后执行：

sh
make build setup-conf migrate update-elastic-indexes

2. 运行所有测试：

sh
make test-web

3. 运行单个测试文件示例：

sh
make test-web ARGS="web/app_sellers/tests/view/test_verified_customers.py -vv"

后端调试

1. 在需调试函数中添加：

python
import pdb
pdb.set_trace()

2. 以非分离模式启动服务：

sh
docker-compose run --publish=8000:8000 web

3. 发送请求后调试器将在终端启动，测试时同样适用。调试命令参见pdb文档。

运行前端测试

在client目录执行：

sh
yarn test

或

sh
yarn test --changedSince=master

添加Python依赖

1. 安装pip-tools：

sh
pip install pip-tools

2. 将新库添加到requirements.in或dev_requirements.in，然后重新生成requirements.txt：

sh
pip-compile dev_requirements.in  # 示例：添加到dev_requirements.in时