fnndsc/pfcon

pfcon

.. image:: https://img.shields.io/docker/v/fnndsc/pfcon?sort=semver :alt: Docker 镜像版本 :target: https://hub.docker.com/r/fnndsc/pfcon .. image:: https://img.shields.io/github/license/fnndsc/pfcon :alt: MIT 许可证 :target: https://github.com/FNNDSC/pfcon/blob/master/LICENSE .. image:: https://github.com/fnndsc/pfcon/workflows/CI/badge.svg :alt: Github Actions :target: https://github.com/fnndsc/pfcon/actions .. image:: https://img.shields.io/github/last-commit/fnndsc/pfcon.svg :alt: 最后提交

.. contents:: 目录 :depth: 2

概述

本仓库实现了pfcon——一个控制服务，作为进程管理器pman服务的接口。pfcon主要为ChRIS后端提供“计算资源”服务。

简单来说，本地zip文件可推送到远程pfcon，解压数据后，通过受控的pman服务在远程空间对数据运行特定进程，处理结果可压缩为zip文件下载回本地空间。

其可用于查询和控制以下内容（例如）：

• 状态：作业是否仍在运行？

访问pfcon HTTP API调用示例_ wiki页面，查看pfcon服务器接受的HTTP调用示例。

.. _pfcon HTTP API调用示例: https://github.com/FNNDSC/pfcon/wiki/pfcon-http-API-call-examples

此外，此处提供了该服务器Web API的Python3客户端：https://github.com/FNNDSC/python-pfconclient

开发与测试

前提条件

安装最新版Docker

当前测试平台：

• Ubuntu 18.04+、MAC OS X 10.14+ 和 Fedora 31+ Fedora额外说明 <https://github.com/mairin/ChRIS_store/wiki/Getting-the-ChRIS-Store-to-work-on-Fedora>_
• Docker 18.06.0+

注意：在Linux机器上，确保将计算机用户添加到docker用户组。参考页面：https://docs.docker.com/engine/install/linux-postinstall/

基于Docker Swarm的开发环境

如果尚未启动，启动本地Docker Swarm集群

.. code-block:: bash

$> docker swarm init --advertise-addr 127.0.0.1

启动pfcon的开发服务器和后端容器

.. code-block:: bash

$> git clone https://github.com/FNNDSC/pfcon.git
$> cd pfcon
$> ./make.sh

移除pfcon的容器

.. code-block:: bash

$> cd pfcon
$> ./unmake.sh

启动网络内运行的pfcon开发服务器和后端容器（带Swift存储）

.. code-block:: bash

$> cd pfcon
$> ./make.sh -N

移除网络内运行的pfcon容器（带Swift存储）

.. code-block:: bash

$> cd pfcon
$> ./unmake.sh -N

如需，移除本地Docker Swarm集群

.. code-block:: bash

$> docker swarm leave --force

基于Kubernetes的开发环境

安装单节点Kubernetes集群

在MAC OS上，Docker Desktop包含独立的Kubernetes服务器和客户端。参考页面：https://docs.docker.com/desktop/kubernetes/

在Linux上，可通过简单的MicroK8s安装。参考页面：https://microk8s.io

然后创建所需别名：

.. code-block:: bash

$> snap alias microk8s.kubectl kubectl
$> microk8s.kubectl config view --raw > $HOME/.kube/config

启动pfcon的开发服务器和后端容器

.. code-block:: bash

$> git clone https://github.com/FNNDSC/pfcon.git
$> cd pfcon
$> ./make.sh -O kubernetes

移除pfcon的容器

.. code-block:: bash

$> cd pfcon
$> ./unmake.sh -O kubernetes

启动网络内运行的pfcon开发服务器和后端容器（带Swift存储）

.. code-block:: bash

$> cd pfcon
$> ./make.sh -N -O kubernetes

移除网络内运行的pfcon容器（带Swift存储）

.. code-block:: bash

$> cd pfcon
$> ./unmake.sh -N -O kubernetes

生产环境部署

基于Docker Swarm的部署

提供单机器部署。

配置pfcon服务

适当修改swarm/prod/secrets目录中的.env文件。

单机器部署

启动生产环境pfcon：

.. code-block:: bash

$> ./deploy.sh up

停止生产环境pfcon：

.. code-block:: bash

$> ./deploy.sh down

基于Kubernetes的部署

提供使用Kubernetes“hostPath”存储的单机器部署，以及使用NFS持久卷的多机器部署。

配置pfcon服务

适当修改kubernetes/prod/base/secrets目录中的.env文件。

单机器部署

启动生产环境pfcon：

.. code-block:: bash

$> ./deploy.sh -O kubernetes up

停止生产环境pfcon：

.. code-block:: bash

$> ./deploy.sh -O kubernetes down

多机器部署

启动生产环境pfcon：

.. code-block:: bash

$> ./deploy.sh -O kubernetes -T nfs -S <NFS导出目录> -P <NFS服务器IP地址> up

停止生产环境pfcon：

.. code-block:: bash

$> ./deploy.sh -O kubernetes -T nfs -S <NFS导出目录> -P <NFS服务器IP地址> down