intel/intel-qatzip

镜像概述

intel/intel-qatzip 是一个基于 Intel® QuickAssist Technology (QAT) 用户空间库构建的 Docker 镜像。它通过将压缩和解压缩操作卸载到 Intel® QAT 硬件加速器，为用户提供高性能的扩展压缩与解压缩能力。

核心功能与特性

• 硬件加速：利用 Intel QAT 加速器卸载 CPU 的压缩/解压负载，显著提升处理性能并降低 CPU 占用率。
• 用户空间库：基于 QAT 用户空间库构建，提供高效的 qzip 命令行工具。
• 容器化支持：完美适配 Docker 环境，支持通过 VFIO 将 QAT 虚拟功能 (VF) 设备直通至容器内。

使用场景和适用范围

• 需要高吞吐量、低延迟数据压缩与解压缩的场景（如大数据处理、日志归档、网络传输优化）。
• 部署在支持 Intel QAT 硬件加速器的服务器环境（如搭载 Intel Xeon 可扩展处理器的物理机或虚拟机）。

详细的使用方法和配置说明

1. 宿主机环境配置

BIOS 设置

• 必须在平台 BIOS 中启用 Intel VT-d 和 SR-IOV。

Grub 设置

需要启用 Intel IOMMU 并将 QAT VF 绑定到内核。

Ubuntu:

1. 编辑 grub 文件：sudo vim /etc/default/grub
2. 修改 GRUB_CMDLINE_LINUX，添加 intel_iommu=on vfio-pci.ids=8086:4941（针对 SPR 平台）。
3. 更新 grub：sudo update-grub
4. 重启系统。

CentOS/Fedora:

1. 更新内核参数：

   bash
   grubby --update-kernel=/boot/vmlinuz-$(uname -r) --remove-args="intel_iommu=on" --args="intel_iommu=off vfio-pci.ids=8086:4941"
   

2. 重启系统。

启用 Intel® QAT 虚拟功能 (VF) 设备

使用以下脚本启用 VF 设备：

bash
for i in `(lspci -D -d :4940 || lspci -D -d :4942) | awk '{print $1}'`; do 
    echo 16 | sudo tee /sys/bus/pci/devices/$i/sriov_numvfs
done

配置宿主机服务与权限

1. 停止宿主机上运行的 Intree 或 OOT 服务：

   bash
   systemctl stop qat
   systemctl stop qat_service
   systemctl disable qat_service
   

2. 关闭 QAT 设备：

   bash
   for i in `lspci -D -d :4940 | awk '{print $1}'`; do echo down > /sys/bus/pci/devices/$i/qat/state; done
   

3. 设置 QAT 设备的服务类型为数据压缩 (dc)：

   bash
   for i in `lspci -D -d :4940 | awk '{print $1}'`; do echo "dc" > /sys/bus/pci/devices/$i/qat/cfg_services; done
   

4. 启动 QAT 设备并检查状态：

   bash
   for i in `lspci -D -d :4940 | awk '{print $1}'`; do echo up > /sys/bus/pci/devices/$i/qat/state; done
   for i in `lspci -D -d :4940 | awk '{print $1}'`; do cat /sys/bus/pci/devices/$i/qat/state; done
   

5. 确保宿主机 QAT 组的 GID 与 Docker 镜像中的 GID 一致（宿主机 QAT 组 GID 应为 1001）：

   bash
   getent group qat | cut -d ':' -f 3
   

6. 设置 VFIO 设备权限：

   bash
   chown root:qat /dev/vfio/*
   chmod 660 /dev/vfio/*
   

2. 镜像构建与运行

构建镜像

使用以下命令构建 Docker 镜像，需传入宿主机的 qat 组 GID：

bash
docker build --build-arg GID=$(getent group qat | cut -d ':' -f 3) -t <docker_image_name> <Dockerfile_path>

运行容器

运行容器时需要挂载 VFIO 设备，并配置相应的安全选项和资源限制。

执行压缩操作：

bash
docker run --rm -it \
  --cap-add=IPC_LOCK \
  --security-opt seccomp=unconfined \
  --security-opt apparmor=unconfined \
  $(for i in `ls /dev/vfio/*`; do echo --device $i; done) \
  --env QAT_POLICY=1 \
  --ulimit memlock=50000000:50000000 \
  <qatzip-docker-image> qzip -k calgary -O gzipext -A deflate

执行解压操作：

bash
docker run --rm -it \
  --cap-add=IPC_LOCK \
  --security-opt seccomp=unconfined \
  --security-opt apparmor=unconfined \
  $(for i in `ls /dev/vfio/*`; do echo --device $i; done) \
  --env QAT_POLICY=1 \
  --ulimit memlock=50000000:50000000 \
  <qatzip-docker-image> qzip -d calgary.gz -A deflate

测试命令

在测试场景下，可通过挂载数据卷和限制内存来运行：

bash
# 压缩测试
docker run --rm -it \
  --cap-add=IPC_LOCK --security-opt seccomp=unconfined --security-opt apparmor=unconfined \
  $(for i in `ls /dev/vfio/*`; do echo --device $i; done) \
  --env QAT_POLICY=1 --ulimit memlock=50000000:50000000 \
  -v /opt:/opt --memory=8g -w $PWD \
  <qatzip-docker-image> qzip -k calgary -O gzipext -A deflate

# 解压测试
docker run --rm -it \
  --cap-add=IPC_LOCK --security-opt seccomp=unconfined --security-opt apparmor=unconfined \
  $(for i in `ls /dev/vfio/*`; do echo --device $i; done) \
  --env QAT_POLICY=1 --ulimit memlock=50000000:50000000 \
  -v /opt:/opt --memory=8g -w $PWD \
  <qatzip-docker-image> qzip -d calgary.gz -A deflate

3. 配置参数说明

• QAT_POLICY=1：配置 QAT 策略，优化容器内的硬件资源分配。
• --cap-add=IPC_LOCK：允许锁定内存，防止内存页被交换到磁盘，保障硬件加速的稳定性。
• --ulimit memlock=50000000:50000000：设置内存锁定限制，确保 QAT 驱动有足够的连续内存。
• --device /dev/vfio/*：将宿主机的 VFIO 设备直通至容器，使容器能够直接访问 QAT 硬件。

4. 注意事项

• 安全警告：拥有 docker 组访问权限的用户等同于拥有 root 权限，请严格控制用户权限。
• 商标声明：Intel、Intel Atom 和 Xeon 是 Intel 公司在美国及/或其他国家的商标。