ai/stable-diffusion

SD-XL 1.0-base 模型文档

!row01

镜像概述和主要用途

SD-XL 1.0-base是由Stability AI开发的扩散型文本到图像生成模型，基于潜在扩散模型（Latent Diffusion Model）架构，通过文本提示生成和修改图像。该模型采用专家集成管道，可单独使用基础模型生成图像，或配合精炼模型（SDXL Refiner）进行最终去噪以提升效果。模型使用两个预训练文本编码器（OpenCLIP-ViT/G和CLIP-ViT/L），支持多种图像生成场景，主要用于研究和创意领域。

核心功能和特性

模型架构

!pipeline

SD-XL采用专家集成管道实现潜在扩散：

• 基础模型：生成含噪潜变量，可独立作为文本到图像生成模块使用。
• 精炼流程：配合精炼模型（SDXL Refiner）对潜变量进行最终去噪，提升图像质量。
• 两阶段管道：先通过基础模型生成目标尺寸潜变量，再使用高分辨率模型结合SDEdit技术（img2img）优化，生成更高质量图像（需更多计算资源）。

核心特性

• 双文本编码器：集成OpenCLIP-ViT/G和CLIP-ViT/L，增强文本理解能力。
• 灵活部署：支持独立使用或与精炼模型组合，适应不同场景需求。
• 开源可扩展：源代码开放（https://github.com/Stability-AI/generative-models%EF%BC%89%EF%BC%8C%E6%94%AF%E6%8C%81%E5%8A%9F%E8%83%BD%E6%89%A9%E5%B1%95%EF%BC%88%E5%A6%82%E8%92%B8%E9%A6%8F%E7%AD%89%EF%BC%89%E3%80%82

使用场景和适用范围

直接用途（研究目的）

• 艺术创作：生成艺术作品，辅助设计和创意流程。
• 教育工具：开发教育或创意类应用，支持可视化教学。
• 模型研究：探索生成模型原理，优化扩散模型架构。
• 安全部署：研究生成模型的有害内容控制与安全部署方案。
• 模型评估：分析生成模型的局限性和偏见，推动模型改进。

超出范围的用途

模型未针对事实性内容或真实人物/事件的准确呈现进行训练，此类场景不在模型能力范围内。

详细使用方法和配置说明

模型资源

• 源代码仓库：https://github.com/Stability-AI/generative-models%EF%BC%88%E6%94%AF%E6%8C%81%E8%AE%AD%E7%BB%83%E5%92%8C%E6%8E%A8%E7%90%86%EF%BC%8C%E6%8C%81%E7%BB%AD%E6%9B%B4%E6%96%B0%E5%8A%9F%E8%83%BD%EF%BC%89%E3%80%82
• 在线演示：Clipdrop（提供免费SDXL推理服务）。

部署示例

通过GitHub仓库部署（研究环境）

bash
# 克隆仓库
git clone https://github.com/Stability-AI/generative-models.git
cd generative-models

# 安装依赖
pip install -e .

# 运行基础模型推理示例（需根据仓库文档配置模型权重）
python scripts/txt2img.py --prompt "a photo of a cat" --model sdxl_base

在线使用

访问Clipdrop SDXL演示页面，输入文本提示直接生成图像。

评估结果

!comparison

用户偏好评估显示：SDXL基础模型性能显著优于SDXL 0.9及Stable Diffusion 1.5/2.1；与精炼模型结合后，整体性能达到最佳。

局限性与偏见

局限性

• 无法实现完美的照片级真实感。
• 无法渲染清晰可辨的文本。
• 在组合任务（如“红色立方体在蓝色球体上”）中表现欠佳。
• 人脸及人物生成质量可能不稳定。
• 模型的自编码过程存在信息损失。

偏见

图像生成模型虽能力强大，但可能强化或加剧社会偏见，使用时需注意伦理考量。

模型信息

• 开发者：Stability AI
• 模型类型：扩散型文本到图像生成模型
• 许可证：CreativeML Open RAIL++-M License
• 更多资源：SDXL技术报告、https://github.com/Stability-AI/generative-models