upperroomtechnology/algorithm

Upperroom Algorithm Docker镜像

镜像概述

Upperroom Algorithm Docker镜像是该算法项目的容器化环境，集成Spark 2.1.0和Jupyter Notebook，用于快速搭建一致的算法开发、测试和运行环境，支持债券交易推荐算法的开发、调度与部署。

核心功能

• 提供Spark运行环境，支持Spark应用提交与集群运行
• 集成Jupyter Notebook，方便数据探索和算法原型开发
• 内置算法调度功能（默认每日5:00 AM运行），可通过调试模式调整频率
• 支持本地虚拟环境和Docker两种部署方式，适配不同开发场景

使用场景

1. 算法开发：开发人员快速搭建环境，进行债券交易推荐算法的编码与测试
2. 数据分析：通过Jupyter Notebook开展原始数据探索与分析
3. 团队协作：利用Docker镜像确保成员环境一致，避免依赖冲突
4. 生产调度：提交算法到Spark集群运行，或通过调度自动执行任务

配置说明

本地环境设置

前置条件

• Git
• Python 3.5.0
• Spark 2.1.0（下载地址：http://spark.apache.org/downloads.html%EF%BC%89

步骤

1. 创建虚拟环境
   使用Virtual Environment Wrapper创建环境：

   bash
   mkvirtualenv --python=`which python3` p-raisin-algorithm
   

   激活环境并安装依赖：

   bash
   workon p-raisin-algorithm
   pip install -r requirements/local.txt
   

2. 配置Spark环境变量
   在~/.bash_profile添加以下内容（替换{{Spark路径}}为实际安装路径）：

   bash
   export SPARK_HOME={{Spark路径}}
   export PATH=$SPARK_HOME/bin:$PATH
   export PYSPARK_PYTHON=~/.virtualenvs/p-raisin-algorithm/bin/python
   export PYSPARK_DRIVER_PYTHON=ipython
   export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
   export PYTHONPATH="${SPARK_HOME}/python/:$PYTHONPATH"
   

   生效配置：source ~/.bash_profile

Docker环境设置

项目结构要求

├── algorithm   
├── devops   
├── docker-img-jupyter   
└── docker-img-spark

步骤

1. 构建镜像

   bash
   cd algorithm && ./bin/build.sh
   cd ../docker-img-jupyter && ./bin/build.sh
   cd ../docker-img-spark && ./bin/build.sh
   

2. 启动容器

   bash
   cd ../devops && ./bin/run-algorithm.sh
   

3. 访问Jupyter
   从控制台日志获取带token的链接（如：http://localhost:8888/?token=xxx）

常用命令

• 启动Jupyter：pyspark
• 构建项目：make build
• 提交Spark应用：./bin/submit-local.sh
• 启动调度器：python src/main.py
• 调试调度（每1分钟运行）：DEBUG=true DEBUG_CRON_TIME=1 python src/main.py