openeuler/executorch

ExecuTorch Docker镜像（openEuler）

镜像概述和主要用途

本镜像为官方ExecuTorch Docker镜像，基于openEuler系统构建，由openEuler CloudNative SIG维护。ExecuTorch是PyTorch的统一设备端AI模型部署解决方案，支持从智能手机到微控制器等多种设备，致力于提供隐私保护、高性能和高可移植性的模型部署能力。该镜像可直接用于AI模型的导出、优化和部署，无需手动C++重写或格式转换，适用于研究到生产环境的无缝过渡。

核心功能和特性

• 原生PyTorch导出：直接从PyTorch导出模型，无需经过.onnx、.tflite等中间格式转换，完整保留模型语义
• 生产级验证：已在Meta的Instagram、***、Quest 3等产品中大规模应用，支持数十亿用户的实时设备端推理
• 轻量级运行时：基础运行时仅50KB，可在微控制器到高端智能手机等多种设备上运行
• 多硬件后端支持：提供12+种开源硬件加速支持，包括Apple、Qualcomm、ARM、MediaTek、Vulkan等
• 一次导出多后端部署：通过单行代码切换硬件目标，实现同一模型在不同设备上的部署

支持的标签和Dockerfile链接

每个ExecuTorch Docker镜像的标签由ExecuTorch版本、基础镜像版本组成，具体信息如下：

使用场景和适用范围

• 设备类型：从微控制器到高端智能手机、智能眼镜等各类设备
• 模型类型：支持LLM（大语言模型）、视觉模型、语音模型及多模态模型
• 应用场景：移动应用AI功能、嵌入式设备智能处理、边缘计算场景的模型部署

使用方法和配置说明

快速启动

支持的设备

• ARM AArch64架构设备

使用容器设置环境

bash
# 启动ExecuTorch容器
docker run --rm --name executorch -it --entrypoint bash openeuler/executorch:latest

三步完成模型导出与部署

python
import torch
from executorch.exir import to_edge_transform_and_lower
from executorch.backends.xnnpack.partition.xnnpack_partitioner import XnnpackPartitioner

# 1. 导出PyTorch模型
model = MyModel().eval()
example_inputs = (torch.randn(1, 3, 224, 224),)
exported_program = torch.export.export(model, example_inputs)

# 2. 针对目标硬件优化（通过单行代码切换后端）
program = to_edge_transform_and_lower(
    exported_program,
    partitioner=[XnnpackPartitioner()]  # CPU | CoreMLPartitioner()（iOS）| QnnPartitioner()（Qualcomm）
).to_executorch()

# 3. 保存部署文件
with open("model.pte", "wb") as f:
    f.write(program.buffer)

# （可选）通过ExecuTorch运行时的pybind API本地测试
from executorch.runtime import Runtime
runtime = Runtime.get()
method = runtime.load_program("model.pte").load_method("forward")
outputs = method.execute([torch.randn(1, 3, 224, 224)])

设备端运行示例

C++

cpp
#include <executorch/extension/module/module.h>
#include <executorch/extension/tensor/tensor.h>

Module module("model.pte");
auto tensor = make_tensor_ptr({2, 2}, {1.0f, 2.0f, 3.0f, 4.0f});
auto outputs = module.forward(tensor);

Swift（iOS）

swift
import ExecuTorch

let module = Module(filePath: "model.pte")
let input = Tensor<Float>([1.0, 2.0, 3.0, 4.0], shape: [2, 2])
let outputs = try module.forward(input)

Kotlin（Android）

kotlin
val module = Module.load("model.pte")
val inputTensor = Tensor.fromBlob(floatArrayOf(1.0f, 2.0f, 3.0f, 4.0f), longArrayOf(2, 2))
val outputs = module.forward(EValue.from(inputTensor))

LLM模型示例：Llama

使用export_llm脚本或https://github.com/huggingface/optimum-executorch%E5%AF%BC%E5%87%BALlama%E6%A8%A1%E5%9E%8B%EF%BC%9A

bash
# 使用export_llm
python -m executorch.extension.llm.export.export_llm --model llama3_2 --output llama.pte

# 使用Optimum-ExecuTorch
optimum-cli export executorch \
  --model meta-llama/Llama-3.2-1B \
  --task text-generation \
  --recipe xnnpack \
  --output_dir llama_model

通过LLM运行器API在设备端运行：

C++

cpp
#include <executorch/extension/llm/runner/text_llm_runner.h>

auto runner = create_llama_runner("llama.pte", "tiktoken.bin");
executorch::extension::llm::GenerationConfig config{
    .seq_len = 128, .temperature = 0.8f};
runner->generate("Hello, how are you?", config);

Swift（iOS）

swift
import ExecuTorchLLM

let runner = TextRunner(modelPath: "llama.pte", tokenizerPath: "tiktoken.bin")
try runner.generate("Hello, how are you?", Config {
    $0.sequenceLength = 128
}) { token in
    print(token, terminator: "")
}

Kotlin（Android）

API文档 • https://github.com/meta-pytorch/executorch-examples/tree/main/llm/android/LlamaDemo

kotlin
val llmModule = LlmModule("llama.pte", "tiktoken.bin", 0.8f)
llmModule.load()
llmModule.generate("Hello, how are you?", 128, object : LlmCallback {
    override fun onResult(result: String) { print(result) }
    override fun onStats(stats: String) { }
})

对于多模态模型（视觉、音频），可使用MultiModal运行器API，该API扩展了LLM运行器以处理文本之外的图像和音频输入。详见Llava和Voxtral示例。

完整工作流（包括量化、移动部署和高级选项）请参见examples/models/llama。

后续步骤

• 📖 分步教程 — 完整的首个模型部署指南
• ⚡ Colab笔记本 — 在浏览器中立即试用ExecuTorch
• 🤖 部署Llama模型 — 包含量化和移动演示的LLM工作流

问题与反馈

如有任何问题或需要使用特定功能，请在openeuler-docker-images提交issue或pull request。