oceanprotocol/operator-engine

Operator-Engine

概述

Operator-Engine是Ocean Protocol生态中的后端代理，实现https://github.com/oceanprotocol/OEPs/tree/master/12#infrastructure-orchestration%E8%A7%84%E8%8C%83%E7%9A%84%E4%B8%80%E9%83%A8%E5%88%86%E3%80%82%E5%AE%83%E4%BD%BF%E7%94%A8Kubernetes%E4%BD%9C%E4%B8%BA%E5%90%8E%E7%AB%AF%EF%BC%8C%E8%B4%9F%E8%B4%A3%E7%BC%96%E6%8E%92%E8%AE%A1%E7%AE%97%E5%9F%BA%E7%A1%80%E8%AE%BE%E6%96%BD%EF%BC%8C%E6%8E%A5%E6%94%B6%E7%94%B1https://github.com/oceanprotocol/operator-service%E5%88%9B%E5%BB%BA%E7%9A%84%E5%B7%A5%E4%BD%9C%E6%B5%81(Workflows)%EF%BC%8C%E5%B9%B6%E7%AE%A1%E7%90%86%E5%AE%8C%E6%88%90%E8%AE%A1%E7%AE%97%E5%B7%A5%E4%BD%9C%E6%B5%81%E6%89%A7%E8%A1%8C%E6%89%80%E9%9C%80%E7%9A%84%E5%9F%BA%E7%A1%80%E8%AE%BE%E6%96%BD%E3%80%82

核心功能

• 工作流执行编排：协调计算工作流的完整执行流程
• 依赖下载管理：启动配置pod，负责下载工作流依赖（数据集和算法）
• 算法执行管理：启动包含算法的pod以执行计算任务
• 结果发布管理：启动发布pod，将计算结果上传至IPFS或S3等远程存储

使用场景

适用于Ocean Protocol生态中需要实现"数据不动计算动"（Compute to the Data）的场景，具体包括：

• 隐私保护的数据计算任务
• 需要在数据所在环境执行的算法运行
• 分布式计算资源的自动化管理
• 计算结果的安全存储与发布

使用方法

部署前提

需已配置Kubernetes集群，本文档不包含K8s集群配置说明。

部署步骤

1. 创建命名空间并设置上下文

bash
kubectl create ns ocean-compute
kubectl config set-context --current --namespace ocean-compute

2. 应用部署配置

bash
kubectl apply -f kubernetes/sa.yml
kubectl apply -f kubernetes/binding.yml
kubectl apply -f kubernetes/operator.yml

3. 验证部署

bash
# 检查部署状态
kubectl get deployment ocean-compute-operator -o yaml

# 检查pod状态
kubectl get pod ocean-compute-operator-7b5779c47b-2r4j8

配置参数

存储选择优先级

系统按以下优先级选择存储方式：

1. 优先检查IPFS相关变量，若存在则使用IPFS
2. 其次检查AWS相关变量，若存在则使用AWS S3

IPFS配置示例

IPFS配置支持以下场景：

场景1：使用不同端口的IPFS网关

IPFS_OUTPUT=http://ipfs.oceanprotocol.com:5001
IPFS_OUTPUT_PREFIX=http://ipfs.oceanprotocol.com:8080/ipfs/

• 使用5001端口调用addFile，结果格式为ipfs.oceanprotocol.com:8080/ipfs/HASH

场景2：隐藏IPFS部署信息

IPFS_OUTPUT=http://ipfs.oceanprotocol.com:5001
IPFS_OUTPUT_PREFIX=ipfs://

• 结果格式为ipfs://HASH

通知URL使用

任务开始和结束时，Engine会向配置的URL发送JSON POST请求，包含以下信息：

• algoDID: 算法DID(如有)
• jobId: 任务ID
• secret: 密钥值(作为环境变量导出到算法pod)
• DID: 输入DID数组

节点选择器配置

若定义NODE_SELECTOR，所有pod将包含以下选择器配置：

yaml
spec:
  template:
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: scope
                operator: In
                values:
                - $NODE_SELECTOR

存储类配置

• Minikube：使用'standard'类
• AWS：确保存储类与pod在同一区域和可用区

AWS标准存储类示例：

yaml
allowedTopologies:
- matchLabelExpressions:
  - key: failure-domain.beta.kubernetes.io/zone
    values:
    - us-east-1a
apiVersion: storage.k8s.io/v1
kind: StorageClass
parameters:
  fsType: ext4
  type: gp2
provisioner: kubernetes.io/aws-ebs
reclaimPolicy: Delete
volumeBindingMode: Immediate

Minikube存储类示例：

yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: standard
provisioner: docker.io/hostpath
reclaimPolicy: Retain

开发模式运行

开发模式允许：

• 直接访问operator-engine pod
• 多次启停operator-engine进程，实时修改代码
• 无需重新生成镜像即可测试不同配置

步骤：

1. 修改Dockerfile，使用tail -f /dev/null作为启动命令(替代默认的kopf命令)
2. 构建并推送新镜像
3. 删除现有pod以拉取新镜像：

bash
kubectl delete pod ocean-compute-operator-7b5779c47b-2jrlp

4. 进入pod：

bash
kubectl exec -it ocean-compute-operator-7b5779c47b-2jrlp bash

5. 启动kopf：

bash
kopf run --standalone /operator_engine/operator_main.py

非开发模式运行

首次部署：

bash
kubectl apply -f k8s_install/operator.yml

验证运行状态：

bash
kubectl get pod ocean-compute-operator-7b5779c47b-2r4j8

本地环境准备

bash
virtualenv -p python3.7 venv
source venv/bin/activate
pip install -r requirements_dev.txt

测试

集群内测试

通过部署测试工作流验证operator-engine功能：

bash
kubectl apply -f k8s_install/workflow-1.yaml

查看operator-engine日志：

bash
kubectl logs ocean-compute-operator-7b5779c47b-2r4j8

查看计算pod日志：

bash
kubectl logs workflow-1-configure-job-qk4pv  # 配置pod日志
kubectl logs workflow-1-algorithm-job-c9m4t  # 算法pod日志
kubectl logs workflow-1-publish-job-dcfjc   # 发布pod日志

版本更新

使用bumpversion.sh脚本更新版本：

bash
./bumpversion.sh {major|minor|patch}

许可证

Copyright 2023 Ocean Protocol Foundation Ltd.

Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at

[***]

Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License.