deeplearninc/auger-ml-worker

Auger Job Server Docker镜像文档

镜像概述和主要用途

本镜像用于构建和部署Spark Job Server，支持PySpark任务运行，提供SLAMM API用于机器学习模型的特征相关性计算、数据评估和预测。适用于需要通过PySpark进行大规模数据处理和机器学习模型开发的场景，支持Docker容器化部署及持续集成/持续部署流程。

核心功能和特性

• 支持Spark Job Server构建与打包，集成Python依赖
• 提供PySpark shell环境，可执行数据处理任务
• 内置SLAMM API，支持特征相关性分析、模型评估和预测
• 支持多种回归器（RandomForestRegressor、GBTRegressor、TPOTRegressor等）及参数配置
• 提供数据转换功能（如PCA、MinMaxScaler、StandardScaler等）
• 支持AWS S3数据访问配置
• 集成Docker部署和CircleCI持续部署流程

使用场景和适用范围

• 大规模数据集的机器学习模型训练与评估
• 基于PySpark的分布式数据处理任务
• 需要容器化部署的机器学习服务
• 开发环境中的模型原型验证和性能测试
• 生产环境中的自动化模型部署和服务

详细使用方法和配置说明

构建egg文件

shell
python setup.py bdist_egg

构建Job Server Docker镜像

shell
# 克隆Spark Job Server仓库
git clone https://github.com/spark-jobserver/spark-jobserver.git
cd spark-jobserver

# 获取版本号
export VER=`sbt version | tail -1 | cut -f2`

# 构建Python依赖
sbt buildPython

# 复制egg文件到目标目录
copy job-server-python/target/python/spark_jobserver_python-0.8.0_SNAPSHOT-py2.7.egg <auger_ml>/auger-job-server/spark_jobserver_python-0.8.0-py2.7.egg

# 打包Job Server
bin/server_package.sh docker

# 复制Jar包到目标目录
copy /tmp/job-server/spark-job-server.jar <auger_ml>/auger-job-server/

# 构建Docker镜像
cd <auger_ml>
docker build --pull -t deeplearninc/auger-job-server .

在Docker中运行PySpark shell

shell
# 构建镜像
docker build -t deeplearninc/auger-ml -f Dockerfile .

# 运行容器，挂载本地模型目录
docker run -it -v /Users/evgenyvovchenko/Projects/deeplearninc/auger-ml:/models_src docker.xuanyuan.run/deeplearninc/auger-ml /models_src/bin/submit perf_runner.py "./data/" "phpvcoG8S.arff"

SLAMM API说明

初始化

python
from docker.xuanyuan.run/auger_ml.Utils import *

# 从环境变量获取S3数据路径
S3_DATA_PATH = os.environ.get('S3_DATA_PATH')

# 配置Spark和AWS
config = Config(spark)
config.awsAccessKeyId = os.environ.get('AWS_ACCESS_KEY_ID')
config.awsSecretAccessKey = os.environ.get('AWS_SECRET_ACCESS_KEY')
config.initS3Spark()
initConfig(config)

# 初始化S3客户端
s3_client = S3FSClient(config, S3_DATA_PATH)

主要方法

• calculateFeaturesCorrelation(data, model_features, target_feature): 计算特征与目标特征的相关性
• evaluateData(data, data_path, modelOptions): 评估数据并训练模型
• predictData(data, data_path, modelOptions): 使用训练好的模型进行预测

modelOptions配置说明

modelOptions是包含模型配置参数的字典，主要参数如下：

支持的转换器及参数

• PCA: k=len(featureColumns)/4
• PolynomialExpansion: degree=3
• DCT: inverse=True
• Normalizer: p=1.0
• MinMaxScaler: min=0.0, max=1.0
• StandardScaler: withStd=True, withMean=False
• oversample: 过采样方法配置字典，包含stud_count_method、advance_method、double_studs_method等子配置

回归器参数说明

RandomForestRegressor

maxBins(140),
numTrees(40),
maxDepth(5),
featureSubsetStrategy('auto'),
minInstancesPerNode(1),
minInfoGain(0.5)

DecisionTreeRegressor

maxBins(140),
maxDepth(5),
minInstancesPerNode(1),
minInfoGain(0.5)

GBTRegressor

maxBins(140),
maxDepth(5),
minInstancesPerNode(1),
minInfoGain(0.5),
stepSize(0.1),
subsamplingRate(1.0),
lossType("squared")

AutosklearnRegressor

time_left_for_this_task(1200),
per_run_time_limit(300),
ml_memory_limit(10240)

TPOTRegressor

generations(2),
population_size(2),
offspring_size(2),
max_time_mins(None),
max_eval_time_mins(5)

TPOTRegressor配置示例：

python
tpot_config_dict_default = {
  'xgboost.XGBRegressor': {
    'n_estimators': [100],
    'max_depth': range(1, 11),
    'learning_rate': [1e-3, 1e-2, 1e-1, 0.5, 1.],
    'subsample': np.arange(0.05, 1.01, 0.05),
    'min_child_weight': range(1, 21),
    'nthread': [1]
  }
}

modelOptions['regressorName'] = 'TPOTRegressor'
modelOptions['regressorOptions'] = {'tpot_config_dict': tpot_config_dict_default}

API使用示例

python
from docker.xuanyuan.run/auger_ml.Utils import *
from docker.xuanyuan.run/auger_ml.EvaluateData import *
from docker.xuanyuan.run/auger_ml.PredictData import *
from docker.xuanyuan.run/auger_ml.FeaturesCorrelation import *
from docker.xuanyuan.run/collections import namedtuple

data_path = "/tmp/data/data"

# 定义stud信息（特殊字段处理）
StudInfo = namedtuple('StudInfo', 'price_name price_divisor position_name provider')
stud_info = StudInfo('dk_price', 200.0, 'dk_position', "dk")  # provider可为空字符串

# 配置modelOptions
modelOptions = {}
modelOptions['targetFeature'] = "dk_fpts"
modelOptions['studInfo'] = stud_info
modelOptions["dateFeature"] = "game_date"
modelOptions["featureColumns"] = ["ma_2_usage", "ma_2_spread"]

# 计算特征相关性
res = calculateFeaturesCorrelation(data, ["ma_2_usage", "ma_2_spread"], "dk_fpts")

# 预测数据
res = predictData(data, data_path, modelOptions)

# 评估数据
res = evaluateData(data, data_path, modelOptions)

持续部署

当代码推送到master分支时，CircleCI会执行以下操作：

1. 构建Notebook Docker镜像并推送到Docker Hub
2. 将该镜像部署到Heroku，访问地址：https://dl-models.herokuapp.com，密码：`password`