ascendai/multimodalsdk

MultimodalSDK

镜像概述

在多模态大模型的推理流程中，需处理大量复杂数据。MultimodalSDK通过提供一套高性能的昇腾亲和接口，加速大模型推理的预处理工作流，预处理API当前运行于CPU（DeviceMode.CPU），通常与CANN/NPU推理框架协同部署。

核心功能

• 覆盖图像、视频加载解码，以及resize、crop等常见预处理操作；
• 支持多种开源数据结构与加速库数据结构的互转，实现快速应用和轻松迁移。

使用场景

适用于基于昇腾芯片的多模态大模型推理场景，帮助开发者优化预处理环节性能，提升整体推理效率。

配置说明

标签命名规则

标签遵循格式：<multimodalsdk_version>-<chip_series>-<os>-<python_version>

支持的标签与Dockerfile链接

快速开始

前提条件（可选）

安装驱动

主机需安装与容器CANN版本兼容的NPU驱动，版本映射参考https://www.hiascend.com/document。

构建镜像

bash
docker build -t {your_repo}/multimodal:latest -f Dockerfile.<chip_series>.<os> .

运行容器

bash
docker run \
    --name multimodal_container \
    --device /dev/davinci1 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -it docker.xuanyuan.run/ascend/multimodal:tag bash

进入容器

bash
docker exec -it multimodal_container bash

使用示例

MultimodalSDK提供示例代码帮助快速上手，可访问：

• MultimodalSDK示例

开发扩展

bash
# 开发者添加所需软件
FROM swr.cn-south-1.myhuaweicloud.com/ascendhub/multimodalsdk:26.0.0-910b-ubuntu22.04-py3.11-aarch64

RUN apt update -y && \
    apt install gcc ...

...

支持硬件

许可证

查看镜像中CANN和MindSeries软件的https://github.com/Ascend/cann-container-image/blob/main/LICENSE。预安装包（Python、系统库等）受自身许可证约束。