fnndsc/pman-reaper

pman

概述

本仓库实现了pman——一个进程管理器，通过HTTP提供统一API，用于在Docker Swarm、Kubernetes和Openshift上运行作业。

开发与测试

前提条件

安装最新Docker

当前测试平台：

• Ubuntu 18.04+、MAC OS X 10.14+和Fedora 31+ https://github.com/mairin/ChRIS_store/wiki/Getting-the-ChRIS-Store-to-work-on-Fedora
• Docker 18.06.0+

注意：在Linux机器上，确保将计算机用户添加到docker组。参考文档：https://docs.docker.com/engine/install/linux-postinstall/

基于Docker Swarm的开发环境

启动本地Docker Swarm集群（如未启动）

bash
$> docker swarm init --advertise-addr 127.0.0.1

启动pman的Flask开发服务器

bash
$> git clone https://github.com/FNNDSC/pman.git
$> cd pman
$> ./make.sh

移除pman的Flask开发服务器

bash
$> cd pman
$> ./unmake.sh

如需移除本地Docker Swarm集群

bash
$> docker swarm leave --force

基于Kubernetes的开发环境

安装单节点Kubernetes集群

• MAC OS：Docker Desktop包含独立的Kubernetes服务器和客户端。参考文档：https://docs.docker.com/desktop/kubernetes/
• Linux：可通过MicroK8s简单安装。参考文档：https://microk8s.io%EF%BC%8C%E7%84%B6%E5%90%8E%E5%88%9B%E5%BB%BA%E6%89%80%E9%9C%80%E5%88%AB%E5%90%8D%EF%BC%9A

bash
$> snap alias microk8s.kubectl kubectl
$> microk8s.kubectl config view --raw > $HOME/.kube/config

启动pman的Flask开发服务器

bash
$> git clone https://github.com/FNNDSC/pman.git
$> cd pman
$> ./make.sh -O kubernetes

移除pman的Flask开发服务器

bash
$> cd pman
$> ./unmake.sh -O kubernetes

示例作业

模拟输入数据

Docker Swarm：

bash
$> pman_dev=$(docker ps -f name=pman_dev_stack_pman.1 -q)
$> docker exec $pman_dev mkdir -p /home/localuser/storeBase/key-chris-jid-1/incoming
$> docker exec $pman_dev mkdir -p /home/localuser/storeBase/key-chris-jid-1/outgoing
$> docker exec $pman_dev touch /home/localuser/storeBase/key-chris-jid-1/incoming/test.txt

Kubernetes：

bash
$> pman_dev=$(kubectl get pods --selector="app=pman,env=development" --output=jsonpath='{.items[*].metadata.name}')
$> kubectl exec $pman_dev -- mkdir -p /home/localuser/storeBase/key-chris-jid-1/incoming
$> kubectl exec $pman_dev -- mkdir -p /home/localuser/storeBase/key-chris-jid-1/outgoing
$> kubectl exec $pman_dev -- touch /home/localuser/storeBase/key-chris-jid-1/incoming/test.txt

使用HTTPie运行作业

bash
$> http POST http://localhost:30010/api/v1/ cmd_args='--saveinputmeta --saveoutputmeta --dir cube/uploads' cmd_path_flags='--dir' auid=cube number_of_workers=1 cpu_limit=1000 memory_limit=200 gpu_limit=0 image=fnndsc/pl-dircopy selfexec=dircopy selfpath=/usr/local/bin execshell=/usr/local/bin/python type=fs jid=chris-jid-1

获取作业状态

bash
$> http http://localhost:30010/api/v1/chris-jid-1/

持续执行上述GET请求，直到响应中的"status"字段变为"finishedSuccessfully"。

删除作业

bash
$> http DELETE http://localhost:30010/api/v1/chris-jid-1/