phygrid/cuda-onnx

Phygrid CUDA ONNX镜像

https://img.shields.io/docker/pulls/phygrid/cuda-onnx.svg](https://hub.docker.com/r/phygrid/cuda-onnx) https://img.shields.io/docker/v/phygrid/cuda-onnx?sort=semver](https://hub.docker.com/r/phygrid/cuda-onnx/tags) https://github.com/phygrid/cuda-onnx/workflows/Build%20and%20Deploy%20Docker%20Image/badge.svg](https://github.com/phygrid/cuda-onnx/actions) https://img.shields.io/github/license/phygrid/cuda-onnx](LICENSE)

这是一个针对ONNX Runtime推理优化的多架构Docker镜像，支持GPU加速，兼容Intel/AMD x64系统和ARM64 NVIDIA Jetson设备，基于Phygrid CUDA基础镜像构建。

🚀 快速开始

bash
# 拉取最新镜像
docker pull phygrid/cuda-onnx:latest

# 在Dockerfile中作为基础镜像使用
FROM phygrid/cuda-onnx:1.0.0

📋 包含内容

基础层

基于phygrid/cuda-base:latest构建，包含：

• Python 3.11（优化的pip、setuptools、wheel）
• FastAPI、Uvicorn、Pydantic（用于Web服务）
• 常用系统依赖和安全特性

ONNX相关扩展

• ONNX Runtime: 版本1.22.0（AMD64：CUDA 12.x + cuDNN 9 + Blackwell；ARM64 Jetson：从源码构建的CUDA + TensorRT）
• ONNX生态: 核心ONNX包和protobuf
• 音视频处理: librosa、soundfile（用于多媒体推理）
• 计算机视觉: OpenCV、scipy、scikit-learn（用于图像处理）
• 模型优化: 高效推理工具

环境优化

• 线程: ONNX Runtime的优化线程数
• 目录: 预创建/app/onnx_models和/app/onnx_cache
• 安全: 使用patchelf修复可执行栈问题
• 健康检查: 内置ONNX Runtime验证

🐳 Docker Hub

仓库: https://hub.docker.com/r/phygrid/cuda-onnx

可用标签

• latest - 最新稳定版本
• 1.0.0, 1.0.1等 - 特定语义版本
• 多架构支持: linux/amd64, linux/arm64

📦 使用示例

作为基础镜像

dockerfile
FROM phygrid/cuda-onnx:1.0.0

# 复制ONNX模型
COPY models/ /app/onnx_models/

# 安装额外依赖
RUN pip install -r requirements.txt

# 覆盖默认命令
CMD ["python", "inference_server.py"]

开发环境

bash
# 运行带GPU支持的交互式容器
docker run -it --rm \
  --gpus all \
  -v $(pwd):/app/workspace \
  -v $(pwd)/models:/app/onnx_models \
  -p 8000:8000 \
  phygrid/cuda-onnx:latest \
  bash

生产部署

bash
# 带GPU支持的Intel/AMD系统
docker run -d \
  --name onnx-inference \
  --gpus all \
  -p 8000:8000 \
  -v /data/models:/app/onnx_models \
  -v /data/cache:/app/onnx_cache \
  -e OMP_NUM_THREADS=8 \
  phygrid/cuda-onnx:latest

# NVIDIA Jetson设备
docker run -d \
  --name onnx-inference \
  --runtime nvidia \
  --gpus all \
  -p 8000:8000 \
  -v /data/models:/app/onnx_models \
  -v /data/cache:/app/onnx_cache \
  -e OMP_NUM_THREADS=4 \
  phygrid/cuda-onnx:latest

模型推理示例

python
import onnxruntime as ort
import numpy as np

# 创建带GPU支持的推理会话
providers = ['CUDAExecutionProvider', 'CPUExecutionProvider']
session = ort.InferenceSession('/app/onnx_models/model.onnx', providers=providers)

# 运行推理
input_data = np.random.randn(1, 3, 224, 224).astype(np.float32)
result = session.run(None, {'input': input_data})

🏗️ 从源码构建

bash
# 克隆仓库
git clone https://github.com/phygrid/cuda-onnx.git
cd cuda-onnx

# 构建镜像
docker build -t phygrid/cuda-onnx:custom .

# 构建多架构镜像
docker buildx build --platform linux/amd64,linux/arm64 -t phygrid/cuda-onnx:custom .

🔄 版本控制

本项目使用自动语义版本控制：

• 自动: 主分支变更时递增补丁版本
• 手动: 编辑VERSION文件进行主版本/次版本更新
• 标签: 自动创建Git标签（如v1.0.0）

🧪 健康检查

镜像包含全面的健康检查：

bash
# 测试ONNX Runtime设置
docker run --rm phygrid/cuda-onnx:latest python /app/onnx_test.py

# 预期输出：
# ONNX Runtime version: 1.22.0
# Available providers: ['CUDAExecutionProvider', 'TensorrtExecutionProvider', 'CPUExecutionProvider']
# ✅ CUDA provider available for GPU inference  
# ✅ TensorRT provider available for optimized inference (ARM64 Jetson)
# ✅ CPU provider available
# ✅ GPU access test: OK
# ONNX Runtime setup: OK

⚙️ 配置

环境变量

卷挂载

🔧 性能调优

GPU优化

bash
# 指定CUDA设备启用CUDA提供程序
export CUDA_VISIBLE_DEVICES=0

# 配置内存管理
export ORT_CUDA_MEMORY_LIMIT=4GB

CPU优化

bash
# 根据CPU核心数调整线程数
export OMP_NUM_THREADS=$(nproc)
export ONNX_NUM_THREADS=$(nproc)

🤝 贡献

我们欢迎贡献！请按以下步骤操作：

1. Fork仓库
2. 创建特性分支（git checkout -b feature/amazing-feature）
3. 提交变更（git commit -m 'Add amazing feature'）
4. 推送分支（git push origin feature/amazing-feature）
5. 打开Pull Request

开发设置

bash
# 克隆并设置
git clone https://github.com/phygrid/cuda-onnx.git
cd cuda-onnx

# 本地测试构建
docker build -t phygrid/cuda-onnx:test .
docker run --rm phygrid/cuda-onnx:test python /app/onnx_test.py

📄 许可

本项目采用MIT许可 - 详见LICENSE文件。

🏷️ 标签

镜像包含标准OCI标签：

dockerfile
LABEL org.opencontainers.image.title="Phygrid CUDA ONNX"
LABEL org.opencontainers.image.description="ONNX Runtime base image for efficient CPU/GPU inference"
LABEL org.opencontainers.image.vendor="Phygrid"
LABEL inference.engine="onnx"
LABEL inference.runtime="onnxruntime-1.16.3"

🆘 支持

• 问题: https://github.com/phygrid/cuda-onnx/issues
• 讨论: https://github.com/phygrid/cuda-onnx/discussions
• Docker Hub: https://hub.docker.com/r/phygrid/cuda-onnx

📈 指标

• 镜像大小: ~1.2GB压缩（AMD64），~1.4GB（ARM64）
• 构建时间: ~8-15分钟（AMD64带缓存），~45-60分钟（ARM64源码构建）
• 架构: AMD64（Intel/AMD）、ARM64（NVIDIA Jetson）
• ONNX Runtime版本: 1.22.0（AMD64：CUDA12.x+cuDNN9+Blackwell支持；ARM64：从源码构建的CUDA+TensorRT）
• CUDA版本: 12.8（支持ARM64 Jetson）
• GPU支持: NVIDIA Blackwell及更早架构
• 基础镜像: phygrid/cuda-base:latest