dustynv/stable-diffusion

stable-diffusion

!https://raw.githubusercontent.com/dusty-nv/jetson-containers/docs/docs/images/diffusion_astronaut.jpg

镜像概述和主要用途

本Docker镜像基于Stable Diffusion实现，支持通过文本生成图像（txt2img）或通过图像生成图像（img2img）。集成了CompVis的stable-diffusion代码（/opt/stable-diffusion）和basujindal的内存优化版本（/opt/stable-diffusion/optimizedSD），已在stable-diffusion-1.4模型上测试通过。适用于Jetson设备，提供命令行方式的图像生成功能。

如需带Web界面的更快实现，可参考https://github.com/dusty-nv/jetson-containers/tree/master/packages/diffusion/stable-diffusion-webui%E5%AE%B9%E5%99%A8%E3%80%82

核心功能和特性

• 双模式生成：支持文本到图像（txt2img）和图像到图像（img2img）两种生成方式
• 内存优化：提供优化版本代码，降低内存占用，适配资源受限设备
• 参数可调：支持调整图像分辨率、生成步数、采样方法、随机种子等参数
• 模型兼容：测试支持stable-diffusion-1.4模型（可从Hugging Face获取）
• Jetson适配：兼容Jetson设备的L4T系统（L4T >=34.1.0，即JetPack 5.1+）

使用场景和适用范围

适用于在Jetson嵌入式设备上进行AI图像生成的场景，包括：

• 开发者进行文本引导的图像创作
• 研究人员测试Stable Diffusion模型在边缘设备上的性能
• 需要低功耗、本地化部署的图像生成应用

详细使用方法和配置说明

txt2img（文本生成图像）

1. 下载模型

首先下载stable-diffusion-1.4模型文件（sd-v1-4.ckpt）：

bash
wget https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/resolve/main/sd-v1-4.ckpt -O /data/models/stable-diffusion/sd-v1-4.ckpt

2. 基础生成命令

默认生成6张512x512图像，使用50步优化：

bash
cd /opt/stable-diffusion && python3 scripts/txt2img.py --plms \
  --ckpt /data/models/stable-diffusion/sd-v1-4.ckpt \
  --outdir /data/images/stable-diffusion \
  --prompt "a photograph of an astronaut riding a horse"

3. 自定义参数生成

生成1张512x512图像，使用25步优化：

bash
cd /opt/stable-diffusion && python3 scripts/txt2img.py --plms \
  --n_samples 1 --n_iter 1 --ddim_steps 25 \
  --ckpt /data/models/stable-diffusion/sd-v1-4.ckpt \
  --outdir /data/images/stable-diffusion \
  --prompt "two robots walking in the woods"

主要参数说明：

• --W/--H：图像宽度/高度（默认512x512）
• --seed：随机种子（默认42，不同种子生成不同结果）
• --n_samples：每轮生成图像数量
• --n_iter：生成轮数
• --ddim_steps：优化步数（影响质量和速度）

4. 低内存设备优化（Jetson Orin Nano）

使用内存优化版本脚本：

bash
cd /opt/stable-diffusion && python3 optimizedSD/optimized_txt2img.py \
  --sampler plms --seed 42 \
  --n_samples 1 --n_iter 1 --ddim_steps 25 \
  --ckpt /data/models/stable-diffusion/sd-v1-4.ckpt \
  --outdir /data/images/stable-diffusion \
  --prompt "a photograph of an astronaut riding a horse"

5. 脚本化运行

完整流程可通过脚本执行：https://github.com/dusty-nv/jetson-containers/tree/master/packages/diffusion/stable-diffusion/test.sh

容器信息

容器镜像信息

运行容器

bash
# 自动拉取或构建兼容的容器镜像
jetson-containers run $(autotag stable-diffusion)

# 或显式指定上述镜像之一
jetson-containers run dustynv/stable-diffusion:r35.4.1

# 或使用'docker run'（指定镜像和挂载等）
sudo docker run --runtime nvidia -it --rm --network=host dustynv/stable-diffusion:r35.4.1

bash
jetson-containers run -v /本地路径:/容器内路径 $(autotag stable-diffusion)

bash
jetson-containers run $(autotag stable-diffusion) my_app --abc xyz

构建容器

bash
jetson-containers build stable-diffusion