ziplineai/chronon-fetcher

Chronon Feature Fetching Service 镜像文档

镜像概述和主要用途

本Docker镜像用于运行Chronon Feature Service，提供特征获取功能。该服务允许用户通过HTTP端点获取Chronon Join和GroupBy的特征数据，支持批量查询，并可集成监控和性能分析工具，适用于机器学习特征工程、在线特征服务等场景。

核心功能和特性

• 提供HTTP端点访问，支持特征数据查询与服务配置查看
• 支持Google Cloud BigTable配置，实现云端数据存储访问
• 集成OpenTelemetry指标导出，支持OTLP over HTTP和Prometheus两种方式
• 可启用Google Cloud Profiler进行性能分析
• 支持在线离线一致性特征日志输出到Kafka主题
• 提供健康检查和服务配置查询端点

使用场景和适用范围

• 机器学习模型训练与推理中的特征获取
• 在线特征服务，支持高并发批量特征查询
• 需要监控特征服务性能与指标的场景
• 基于Chronon框架的特征工程流程集成

使用方法和配置说明

拉取镜像

获取最新版本镜像：

bash
docker pull docker.xuanyuan.run/ziplineai/chronon-fetcher:latest

启动服务

基础启动命令（默认端口9000）：

bash
docker run \
  -p 9000:9000 \
  docker.xuanyuan.run/ziplineai/chronon-fetcher:latest

额外配置与环境变量

可通过-e "VAR=VALUE"语法设置以下环境变量：

Google Cloud配置

Profiler配置

服务指标配置

监控配置

指标导出

Chronon库和Vert.x fetcher web服务支持通过https://opentelemetry.io/%E6%A0%87%E5%87%86%E6%94%B6%E9%9B%86%E6%8C%87%E6%A0%87%EF%BC%8C%E5%BD%93%E5%89%8D%E6%94%AF%E6%8C%81%E4%B8%A4%E7%A7%8D%E5%AF%BC%E5%87%BA%E6%96%B9%E5%BC%8F%EF%BC%9A

1. OTLP over HTTP：通过EXPORTER_OTLP_ENDPOINT环境变量配置端点，将指标推送（push）到指定OTLP端点。

2. Prometheus：通过CHRONON_PROMETHEUS_SERVER_PORT和VERTX_PROMETHEUS_SERVER_PORT环境变量配置端口，在指定端口暴露Prometheus端点，供指标拉取（pull）。

服务性能分析

通过设置ENABLE_GCLOUD_PROFILER环境变量为true，可使用https://cloud.google.com/profiler/docs/about-profiler%E5%AF%B9%E6%9C%8D%E5%8A%A1%E8%BF%9B%E8%A1%8C%E6%80%A7%E8%83%BD%E5%88%86%E6%9E%90%E3%80%82%E5%88%86%E6%9E%90%E7%BB%93%E6%9E%9C%E5%B0%86%E5%AF%BC%E5%87%BA%E5%88%B0%E6%9C%8D%E5%8A%A1%E5%90%8D%E7%A7%B0%E4%B8%BA'chronon-fetcher'%E7%9A%84Cloud Profiler中。

服务端点

服务暴露以下HTTP端点：

使用示例

以下是服务端点的curl调用示例。fetch join和GroupBy端点支持批量查询，可在单个请求中传递多个实体键以获取多个实体的特征。

bash
# 获取在线joins列表
$ curl http://localhost:9000/v1/joins                                                            
{"joinNames":["search.ranking_listing","search.recommendation_v1"]}

# 获取指定join的schema
$ curl http://localhost:9000/v1/join/search.ranking_listing/schema | jq
{
  "joinName": "search.ranking_listing",
  "keySchema": "...",
  "valueSchema": "...",
  "schemaHash": "c72b6d",
  ...
}

# 批量获取join特征
$ curl -X POST http://localhost:9000/v1/fetch/join/ranking_listing -H 'Content-Type: application/json' -d '[{"listing_id":"***"}]' | jq
{
  "results": [
    {
      "status": "Success",
      "entityKeys": {
        "listing_id": "***"
      },
      "features": {
        "my_feature_1": 1,
        "my_feature_2": 0.5
        ...
      }
    }
  ]
}