feathrfeaturestore/feathr-registry

Feathr Docker镜像文档

镜像概述

Feathr是LinkedIn开源的企业级高性能特征存储，已在生产环境使用超过6年，于2022年4月开源。本Docker镜像包含Feathr的UI和API层，提供特征定义、注册、共享及生产部署能力，支持批处理和流数据源，确保点时间正确性以避免数据泄露，助力机器学习模型训练与推理的特征管理。

核心功能与特性

核心能力

• 特征定义与注册：通过Pythonic API基于批处理和流数据源定义特征，支持按名称注册和获取特征
• 点时间正确性：内置点时间连接和聚合操作，避免数据泄露
• 特征共享与复用：内置特征注册中心，支持跨团队、跨公司共享特征

关键特性

• 生产环境验证：LinkedIn生产环境使用超过6年，有专门团队持续优化
• 高可扩展性：支持数十亿行数据和PB级规模处理，内置布隆过滤器、加盐连接等优化
• 丰富的聚合能力：支持基于时间的聚合、滑动窗口连接、查找特征等，均保证点时间正确性
• 自定义UDF支持：原生集成PySpark和Spark SQL，降低数据科学家学习成本
• 派生特征：独特支持基于现有特征构建新特征，促进特征复用
• 丰富类型系统：支持嵌入向量，适用于高级机器学习/深度学习场景（如客户画像嵌入）
• 云原生集成：与Databricks、Azure Synapse等云服务无缝集成，架构简化且可扩展

使用场景

• 机器学习模型开发：数据科学家在模型训练阶段定义、获取和复用特征
• 生产环境特征部署：将特征物化并部署到在线存储，支持实时推理
• 企业级特征管理：跨团队共享特征，提升协作效率和特征复用率
• 大规模数据处理：处理PB级数据和数十亿行记录的特征计算

使用方法

本地客户端安装

如需在Python环境中安装Feathr客户端，执行：

bash
pip install feathr

或安装GitHub最新代码：

bash
pip install git+https://github.com/linkedin/feathr.git#subdirectory=feathr_project

云环境部署

Azure部署

• ARM模板自动部署：遵循https://linkedin.github.io/feathr/how-to-guides/azure-deployment-arm.html
• CLI手动部署：参考https://linkedin.github.io/feathr/how-to-guides/azure-deployment-cli.html

Databricks部署

阅读https://linkedin.github.io/feathr/quickstart_databricks.html

Azure Synapse部署

阅读https://linkedin.github.io/feathr/quickstart_synapse.html

特征定义示例

自定义UDF示例

python
def add_new_dropoff_and_fare_amount_column(df: DataFrame):
    df = df.withColumn("f_day_of_week", dayofweek("lpep_dropoff_datetime"))
    df = df.withColumn("fare_amount_cents", df.fare_amount.cast('double') * 100)
    return df

batch_source = HdfsSource(name="nycTaxiBatchSource",
                        path="abfss://feathrazuretest3fs@feathrazuretest3storage.dfs.core.windows.net/demo_data/green_tripdata_2020-04.csv",
                        preprocessing=add_new_dropoff_and_fare_amount_column,
                        event_timestamp_column="new_lpep_dropoff_datetime",
                        timestamp_format="yyyy-MM-dd HH:mm:ss")

窗口聚合特征示例

python
agg_features = [Feature(name="f_location_avg_fare",
                        key=location_id,                          # 查询/连接键
                        feature_type=FLOAT,
                        transform=WindowAggTransformation(        # 窗口聚合转换
                            agg_expr="cast_float(fare_amount)",
                            agg_func="AVG",                       # 聚合函数
                            window="90d")),                       # 90天窗口
                ]

agg_anchor = FeatureAnchor(name="aggregationFeatures",
                           source=batch_source,
                           features=agg_features)

派生特征示例

python
# 基于现有特征计算新特征
derived_feature = DerivedFeature(name="f_trip_time_distance",
                                 feature_type=FLOAT,
                                 key=trip_key,
                                 input_features=[f_trip_distance, f_trip_time_duration],
                                 transform="f_trip_distance * f_trip_time_duration")

# 嵌入向量相似度计算示例
user_embedding = Feature(name="user_embedding", feature_type=DENSE_VECTOR, key=user_key)
item_embedding = Feature(name="item_embedding", feature_type=DENSE_VECTOR, key=item_key)

user_item_similarity = DerivedFeature(name="user_item_similarity",
                                      feature_type=FLOAT,
                                      key=[user_key, item_key],
                                      input_features=[user_embedding, item_embedding],
                                      transform="cosine_similarity(user_embedding, item_embedding)")

云集成与架构

Feathr支持以下云服务集成：

文档与资源

• 官方文档：https://linkedin.github.io/feathr/
• Python API参考：https://feathr.readthedocs.io/
• 技术演讲：https://linkedin.github.io/feathr/talks/Feathr%20Feature%20Store%20Talk.pdf%E5%8F%8A%E8%A7%86%E9%A2%91
• 快速入门示例：https://linkedin.github.io/feathr/samples/product_recommendation_demo.ipynb

社区支持

• Slack频道：加入Feathr Slack（通过邀请链接）
• 贡献指南：https://github.com/linkedin/feathr/blob/main/CONTRIBUTING.md