oceanprotocol/operator-service

Operator-Service

数据计算基础设施操作员微服务

镜像概述和主要用途

Operator Service是实现Ocean Protocol https://github.com/oceanprotocol/OEPs/tree/master/12#infrastructure-orchestration 规范的微服务，负责管理工作流执行请求。通常该服务通过https://github.com/oceanprotocol/brizo%E9%9B%86%E6%88%90%EF%BC%8C%E4%BD%86%E4%B9%9F%E5%8F%AF%E7%8B%AC%E7%AB%8B%E8%B0%83%E7%94%A8%E3%80%82%E5%85%B6%E6%A0%B8%E5%BF%83%E8%81%8C%E8%B4%A3%E6%98%AF%E4%B8%8EK8s%E9%9B%86%E7%BE%A4%E5%BB%BA%E7%AB%8B%E9%80%9A%E4%BF%A1%EF%BC%8C%E5%A4%84%E7%90%86%E5%B7%A5%E4%BD%9C%E6%B5%81%E7%9A%84%E5%85%A8%E7%94%9F%E5%91%BD%E5%91%A8%E6%9C%9F%E7%AE%A1%E7%90%86%EF%BC%8C%E4%B8%94%E4%B8%8D%E6%8F%90%E4%BE%9B%E5%AD%98%E5%82%A8%E8%83%BD%E5%8A%9B%EF%BC%8C%E6%89%80%E6%9C%89%E7%8A%B6%E6%80%81%E7%9B%B4%E6%8E%A5%E5%AD%98%E5%82%A8%E5%9C%A8K8s%E9%9B%86%E7%BE%A4%E4%B8%AD%E3%80%82

核心功能和特性

• 工作流注册：将工作流注册为K8s对象
• 工作流列表：列出K8s中已注册的工作流
• 工作流停止：终止正在运行的工作流执行
• 执行状态查询：获取工作流的执行状态信息
• 无存储依赖：所有状态直接存储于K8s集群，不依赖额外存储服务

使用场景和适用范围

适用于Ocean Protocol生态中需要实现"数据计算"（Compute to the Data）功能的场景，特别是需要在K8s基础设施上管理算法工作流执行的场景。可作为独立微服务部署，或与Brizo代理集成，为数据提供方和算法执行方提供工作流管理能力。

详细使用方法和配置说明

本地环境搭建

Operator Service需与K8s环境建立连接以管理工作流。以下以连接AWS上的K8s集群为例说明搭建步骤。

安装AWS和K8s工具

1. 安装AWS CLI：

   bash
   $ sudo pip3 install awscli --upgrade
   
   $ aws --version
   aws-cli/1.16.225 Python/3.7.3 Linux/5.0.0-25-generic botocore/1.12.215
   

2. 安装aws-iam-authenticator：

   bash
   $ curl -o aws-iam-authenticator https://amazon-eks.s3-us-west-2.amazonaws.com/1.13.7/2019-06-11/bin/linux/amd64/aws-iam-authenticator
   chmod +x ./aws-iam-authenticator
   

3. 安装Kubectl：

   bash
   $ curl -LO https://storage.googleapis.com/kubernetes-release/release/`curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt`/bin/linux/amd64/kubectl
   $ chmod +x ./kubectl
   $ sudo mv ./kubectl /usr/local/bin/kubectl
   

4. 安装Minikube（本地K8s集群）：

   bash
   curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64
   sudo install minikube-linux-amd64 /usr/local/bin/minikube
   

5. 启动Minikube（非root用户）：

   bash
   minikube start
   

6. 验证配置：

   bash
   kubectl config view
   

工具详细文档：

• AWS CLI
• Kubectl
• aws-iam-authenticator
• Minikube

安装和配置PostgreSQL数据库

1. 安装依赖（以Ubuntu为例）：

   bash
   sudo apt-get install libpq-dev
   

2. 配置环境变量：

   bash
   export POSTGRES_USER=myuser
   export POSTGRES_PASSWORD=mypass
   export POSTGRES_HOST=localhost
   export POSTGRES_DB=mydb
   

3. 配置管理员密钥（首次运行需初始化数据库）：

   bash
   export ALLOWED_ADMINS=["myAdminSecret"]
   

运行服务

1. 创建并激活虚拟环境：

   bash
   virtualenv venv
   source venv/bin/activate
   pip install -r requirements_dev.txt
   

2. 启动服务：

   bash
   export FLASK_APP=operator_service/run.py
   flask run --host=0.0.0.0 --port 8050
   

3. 初始化数据库（首次运行）：

   python
   import requests
   headers = {"Admin": "myAdminSecret"}
   requests.post(f"{API_URL}/pgsqlinit", headers=headers)
   

4. 访问Swagger API文档：

   http://0.0.0.0:8050/api/v1/docs/
   

5. 示例API调用：

   bash
   $ curl -X GET "http://localhost:8050/api/v1/operator/list" -H "accept: application/json"
   ["9f9178dcffd34130a3158ce9ca3d15ff"]
   

环境变量配置

测试

通过Travis执行自动化测试，使用tox和pytest框架。

版本更新

使用bumpversion.sh脚本更新项目版本，通过指定{major|minor|patch}参数进行主版本、次版本或补丁版本的更新：

bash
./bumpversion.sh major  # 主版本更新
./bumpversion.sh minor  # 次版本更新
./bumpversion.sh patch  # 补丁版本更新

许可证

Copyright 2022 Ocean Protocol Foundation Ltd.

基于Apache License 2.0许可（"许可证"）授权；除非遵守许可证，否则不得使用此文件。您可以在以下地址获取许可证副本：

[***]

除非适用***要求或书面同意，否则根据许可证分发的软件按"原样"分发，不提供任何明示或暗示的担保或条件。有关许可证下权限和限制的具体语言，请参见许可证。