vdaas/vald-tensorflow-ingress-filter

Vald Tensorflow Ingress Filter

vald-tensorflow-ingress-filter是Vald官方提供的入口过滤组件之一。

其自定义逻辑要求输入TensorFlow SavedModel作为请求，并将TensorFlow SavedModel的结果作为Vald Agent的请求输出。使用该组件，用户可在Vald集群内部通过TensorFlow SavedModel对文本、图片等多种数据进行向量化，无需依赖外部API。

依赖要求

• 库：kubectl、Helm、grpcio、numpy、tensorflow、vald-client-python
• 其他：Vald集群

快速开始

vald-tensorflow-ingress-filter是Vald集群的入口过滤组件，需在Kubernetes集群上使用，不支持本地环境或Docker单独运行。

步骤如下：

1. 部署vald-tensorflow-ingress-filter

   bash
   git clone https://github.com/vdaas/vald-tensorflow-ingress-filter.git
   kubectl apply -f vald-tensorflow-ingress-filter/k8s
   

   官方镜像仅支持amd64架构。

   注意：示例清单文件使用TensorFlow Hub的BERT作为TensorFlow SavedModel，可通过编辑k8s/deployment.yaml修改模型：

   ...
     - |
       curl -L "https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/4?tf-hub-format=compressed" -o /model/sample.tar.gz  #可修改
   ...
     env:
       - name: MODEL_PATH
         value: "/model"  #模型路径
       - name: INPUT_TENSOR_NAMES
         value: "name1 name2"  #输入张量名称
       - name: OUTPUT_TENSOR_NAME
         value: "name"  #输出张量名称
       - name: REQUEST_TYPE
         value: "int32"  #请求类型
   

2. 部署带过滤网关的Vald集群

   请编辑Vald仓库中的https://github.com/vdaas/vald/blob/main/example/helm/values.yaml，启用vald-filter-gateway并部署：

   bash
   git clone https://github.com/vdaas/vald.git
   cd vald
   
   vim example/helm/values.yaml
   ---
   ...
   gateway:
   ...
       filter:
           enabled: true
   ...
   agent:
       ngt:
           dimension: 768
   

使用vald-client-python的示例代码

python
import grpc
import numpy as np
import tensorflow_hub as hub
import tensorflow_text as text
from docker.xuanyuan.run/vald.v1.payload import payload_pb2
from docker.xuanyuan.run/vald.v1.vald import (
    filter_pb2_grpc,
    search_pb2_grpc,
)

# 预处理
preprocess = hub.load('https://tfhub.dev/tensorflow/bert_en_uncased_preprocess/1')
token = preprocess(["TF Hub makes BERT easy!"])
sample = np.vstack([i for i in token.values()])

channel = grpc.insecure_channel("localhost:8081")

# 插入数据
stub = filter_pb2_grpc.FilterStub(channel)
resize_vector = payload_pb2.Object.ReshapeVector(
    object=sample.tobytes(),
    shape=[3, 128],
)
resize_vector = resize_vector.SerializeToString()

req = payload_pb2.Insert.ObjectRequest(
    object=payload_pb2.Object.Blob(
        id="0",
        object=resize_vector
    ),
    config=payload_pb2.Insert.Config(skip_strict_exist_check=False),
    vectorizer=payload_pb2.Filter.Target(
        host="vald-tensorflow-ingress-filter",
        port=8081,
    )
)
stub.InsertObject(req)

版本说明

Dockerfile

该镜像的Dockerfile位于https://github.com/vdaas/vald/blob/main/dockers/agent/core/ngt/Dockerfile。

关于Vald项目

有关Vald项目的信息，请参考以下链接：

• https://vald.vdaas.org
• https://github.com/vdaas/vald

联系方式

我们乐于提供支持！如有任何问题或问题报告，请随时联系我们：

• 官方Slack工作区
• https://github.com/vdaas/vald/issues

许可证

本产品遵循Apache License v2.0协议，详情请参考https://github.com/vdaas/vald/blob/main/LICENSE文件。