Kubernetes 的 Intel IAA 设备插件

目录

• 概述
• 核心功能和特性
• 使用场景和适用范围
• 安装与部署
  • 获取源代码
  • 以 DaemonSet 方式部署
    • 构建插件镜像
    • 部署插件 DaemonSet
  • 使用 initcontainer 部署
  • 使用 ConfigMap 配置进行部署
  • 手动部署
    • 构建插件
    • 以管理员身份运行插件
  • 验证插件注册
• 测试插件

概述

Intel Analytics Accelerator (IAA) 设备插件为 Kubernetes 提供了使用 Intel Analytics Accelerator (IAA) 进行加速计算的能力。该插件能够发现 IAA 工作队列并将其作为节点资源呈现给 Kubernetes 集群。

IAA 插件和操作器可通过 initcontainer，借助 accel-config 工具，选择性地支持 IAA 设备和工作队列的配置。

核心功能和特性

• 自动发现 IAA 工作队列并将其作为 Kubernetes 节点资源暴露
• 支持通过 initcontainer 配置 IAA 设备和工作队列
• 与 accel-config 工具集成，实现设备的高级配置和管理
• 以 DaemonSet 方式部署，确保集群中每个节点都能利用 IAA 加速能力
• 支持专用和共享两种工作队列类型的资源分配

使用场景和适用范围

• 需要利用 Intel Analytics Accelerator 加速数据分析和处理的 Kubernetes 集群
• 要求高效利用硬件加速资源的计算密集型应用
• 需要对加速资源进行精细控制和分配的场景
• 部署了支持 IAA 加速的应用，如数据库、数据分析引擎等

安装与部署

以下部分详细介绍如何获取、构建、部署和测试 IAA 设备插件。

获取源代码

$ git clone [***]

以 DaemonSet 方式部署

要将 IAA 插件部署为 DaemonSet，需要先构建插件的容器镜像并确保节点可以访问该镜像。

构建插件镜像

使用以下命令通过 docker 构建本地容器镜像，镜像名为 intel/intel-iaa-plugin，标签为 devel：

$ cd ${INTEL_DEVICE_PLUGINS_SRC}
$ make intel-iaa-plugin
...
Successfully tagged intel/intel-iaa-plugin:devel

部署插件 DaemonSet

使用提供的示例 DaemonSet YAML 文件部署插件。默认的 kustomization 会按原样部署 YAML：

$ kubectl apply -k deployments/iaa_plugin
daemonset.apps/intel-iaa-plugin created

使用 initcontainer 部署

项目包含一个示例 idxd initcontainer，用于配置 IAA 设备和工作队列（1 个引擎 / 1 个组 / 1 个工作队列（用户/专用）），部署命令如下：

$ kubectl apply -k deployments/iaa_plugin/overlays/iaa_initcontainer/

配置脚本和模板可根据需求进行自定义。

使用 ConfigMap 配置进行部署

配置可以选择存储在 ProvisioningConfig ConfigMap 中，然后通过卷挂载传递给 initcontainer。通过将节点名通过 NODE_NAME 环境变量传递给 initcontainer，并通过 ConfigMap 卷挂载传递节点特定的配置文件，可以实现节点特定的配置。

创建自定义配置 ConfigMap：

$ kubectl create configmap --namespace=inteldeviceplugins-system intel-iaa-config --from-file=demo/iaa.conf

手动部署

对于开发目的，有时需要在节点上手动部署插件。这种情况下，不需要构建完整的容器镜像，只需构建插件即可。

构建插件

首先构建插件：

$ make iaa_plugin

以管理员身份运行插件

直接在节点上运行插件：

$ sudo -E ./cmd/iaa_plugin/iaa_plugin
device-plugin registered

验证插件注册

通过搜索节点资源分配状态，可以验证插件是否已注册：

$ kubectl get nodes -o go-template='{{range .items}}{{.metadata.name}}{{"\n"}}{{range $k,$v:=.status.allocatable}}{{"  "}}{{$k}}{{": "}}{{$v}}{{"\n"}}{{end}}{{end}}' | grep '^\([^ ]\)\|\(  iaa\)'
master
  iaa.intel.com/wq-user-dedicated: 2
  iaa.intel.com/wq-user-shared: 10
node1
  iaa.intel.com/wq-user-dedicated: 4
  iaa.intel.com/wq-user-shared: 30

测试插件

可以通过部署提供的 iaa-qpl-demo 测试镜像来测试插件是否正常工作。

1. 构建包含 accel-config 测试的 Docker 镜像：

   $ make iaa-qpl-demo
   ...
   Successfully tagged iaa-qpl-demo:devel
   

2. 创建运行单元测试的 Pod：

   $ kubectl apply -f ./demo/iaa-qpl-demo-pod.yaml
   pod/iaa-qpl-demo created
   

3. 等待 Pod 完成：

   $ kubectl get pods | grep iaa-qpl-demo
   iaa-qpl-demo    0/1     Completed   0          31m
   

如果 Pod 未能成功启动，可能是因为无法获取 IAA 资源，此时 Pod 将处于 Pending 状态：

$ kubectl get pods
NAME                      READY   STATUS    RESTARTS   AGE
iaa-qpl-demo              0/1     Pending   0          7s

可以通过检查 Pod 的事件来确认：

$ kubectl describe pod iaa-qpl-demo | grep -A3 Events:
Events:
  Type     Reason            Age    From               Message
  ----     ------            ----   ----               -------
  Warning  FailedScheduling  2m26s  default-scheduler  0/1 nodes are available: 1 Insufficient iaa.intel.com/wq-user-dedicated, 1 Insufficient iaa.intel.com/wq-user-shared.