前置知识
阅读本文前，建议先了解：
- 02-Transformer 架构 - Transformer 基本原理
- 03-扩散模型 - 扩散模型基础
一、图片生成技术全景图
2025-2026 年，图片生成技术形成一超多强格局——扩散模型主导，多种架构并存。
mindmap root((图片生成技术)) 扩散模型 潜在扩散 SD 系列 Flux 系列 直接扩散 Imagen Flow Matching SD 3 Flux GAN 传统 GAN StyleGAN Transformer ViT DiT 混合架构 多模态融合
[!比喻] 扩散模型 vs GAN 扩散模型像”雕刻”——从一团混沌（噪声）中慢慢雕琢出图像。 GAN 像”造假币”——生成器负责造假，判别器负责鉴定，两者对抗中提升技术。
一、扩散模型核心原理
1.1 基本思想
扩散模型的核心是逐步加噪与去噪的过程。
前向过程（加噪）：
原始图像 → 加噪 → 更多噪声 → ... → 纯噪声
反向过程（去噪）：
纯噪声 → 去噪 → 较少噪声 → ... → 清晰图像
1.2 前向过程（Forward Process）
- 对原始图像逐步添加高斯噪声
- 最终变为纯噪声
- 每一步的噪声水平由方差调度（variance schedule）控制
- 这是一个确定的马尔可夫链过程
1.3 反向过程（Reverse Process）
- 学习一个神经网络来逐步去除噪声
- 从纯噪声恢复图像
- 典型架构：U-Net + 注意力机制
┌─────────────────────────────────────────────────────────┐
│ 扩散模型去噪过程 │
├─────────────────────────────────────────────────────────┤
│ │
│ t=T ┌─────┐ │
│ 噪声 │ U-Net │ → 预测噪声 ε │
│ └─────┘ │
│ ↓ │
│ t=T-1 ┌─────┐ │
│ 去噪 │ U-Net │ → 预测噪声 ε │
│ └─────┘ │
│ ↓ │
│ ... │
│ ↓ │
│ t=0 ┌─────┐ │
│ 清晰 │ U-Net │ → 完成 │
│ └─────┘ │
└─────────────────────────────────────────────────────────┘
二、潜在扩散（Latent Diffusion）
2.1 为什么需要潜在空间？
[!比喻] 潜在空间的作用 想象你要画一幅画：
- 像素空间：直接在 4K 画布上修改，每笔都要处理 millions 个像素
- 潜在空间：先在草图本上构思（64×64），再转绘到画布上
潜在扩散就是在压缩的”草图空间”中进行，效率提升数十倍。
2.2 VAE 编码器
原始图像 (512×512×3)
↓ 编码器
潜在表示 (64×64×4) ← 扩散过程在此进行
↓ 解码器
输出图像 (512×512×3)
压缩率：典型为 8 倍空间压缩，计算量减少 64 倍
2.3 Stable Diffusion 系列
| 版本 | 发布时间 | 参数量 | 特点 |
|---|---|---|---|
| SD 1.5 | 2022.08 | 0.89B | 开源生态起点 |
| SD 2.1 | 2022.12 | 0.89B | 支持 768px 分辨率 |
| SDXL | 2024.07 | 2.6B | 双编码器架构 |
| SD 3 | 2024.06 | 2B/8B | Flow Matching、MM-DiT |
| SD 3.5 | 2025 | 2B/8B | 进一步优化 |
三、条件生成机制
3.1 文本条件注入
扩散模型需要”听懂”文本提示，有两种主要方式：
Cross-Attention（交叉注意力）
文本提示 → CLIP 编码器 → 文本嵌入
↓
噪声 + 时间步 → U-Net → Cross-Attention → 注入文本条件
Classifier-Free Guidance
- 在训练时随机丢弃条件信号（一定比例）
- 推理时通过外推条件强度提高生成质量
- Cfg Scale 参数控制生成结果与提示词的贴合程度
Cfg Scale = 1：完全忽略提示词
Cfg Scale = 7：平衡创意与准确性（推荐）
Cfg Scale = 15：严格遵循提示词，可能过度拟合
四、2025-2026 新架构
4.1 DiT（Diffusion Transformer）
传统 U-Net 架构的局限性：
- 局部感受野，长程依赖建模弱
- 扩展性受限
DiT 的优势：
- 用 Transformer 替代 U-Net 作为去噪网络
- 自注意力捕捉全局关系
- 更好的扩展性
采用 DiT 的模型：
- Flux 系列
- SD 3
- PixArt-α
4.2 Flow Matching（流匹配）
[!比喻] 流匹配 vs 传统扩散 传统扩散：从 A 点到 B 点走随机路径，需要很多步 流匹配：学习一条最优路径，几步就能到达
核心优势：
- 更高效的采样路径
- 从 50 步减少到 4-10 步
- 速度提升 5-10 倍
采用 Flow Matching 的模型：
- SD 3 / SD 3.5
- Flux 系列
4.3 一步生成模型
2026 年最新突破：
| 技术 | 步数 | 速度提升 |
|---|---|---|
| 传统扩散 | 20-50 步 | 基准 |
| Flow Matching | 4-10 步 | 5-10 倍 |
| 一步生成 | 1 步 | 20-50 倍 |
一步生成的代价
一步生成速度极快，但图像质量通常略低于多步生成。适合实时交互场景，不适合高质量创作。
五、多模态融合架构
5.1 完整生成流程
┌─────────────────────────────────────────────────────────┐
│ 图片生成完整流程 │
├─────────────────────────────────────────────────────────┤
│ │
│ 文本提示 │
│ ↓ │
│ ┌─────────────┐ │
│ │ 文本编码器 │ → CLIP / LLM / T5 │
│ └─────────────┘ │
│ ↓ │
│ 条件向量 │
│ ↓ │
│ ┌─────────────┐ ┌─────────────┐ │
│ │ 随机噪声 │ → │ 去噪网络 │ → 潜在表示 │
│ └─────────────┘ └─────────────┘ │
│ ↑ │
│ Cross-Attention 注入条件 │
│ │
│ ↓ │
│ ┌─────────────┐ │
│ │ VAE 解码器 │ → 输出图像 │
│ └─────────────┘ │
│ │
│ ↓ （可选） │
│ ┌─────────────┐ │
│ │ 超分辨率模块 │ → 高分辨率输出 │
│ └─────────────┘ │
└─────────────────────────────────────────────────────────┘
5.2 文本编码器对比
| 编码器 | 来源 | 特点 | 使用模型 |
|---|---|---|---|
| CLIP | OpenAI | 多模态对比学习 | SD 系列 |
| T5 | 大语言模型 | Imagen | |
| LLM | 各家 | 语义理解强 | GPT-Image |
5.3 超分辨率模块
- 将低分辨率图像上采样到目标分辨率
- Real-ESRGAN：常用的超分辨率模型
- 级联扩散：多阶段扩散实现高质量放大
六、2026 年新技术
6.1 功能性记忆（腾讯混元）
[!比喻] 功能性记忆 传统模型像一本固定答案的书，每次遇到问题都要翻书找答案。 功能性记忆则像一个聪明的助手，会根据你的具体问题现场思考，给出量身定制的回答。
核心特点：
- 打破传统静态权重局限
- 推理时实时生成个性化参数
- 解决灾难性遗忘、性能跷跷板问题
6.2 骨干无关架构（小红书 FireRed）
- 可迁移至任意文生图基础模型
- 不依赖特定基座模型
- 支持 LoRA 训练生态
6.3 一步生成技术
- 传统扩散需要 20-50 步去噪
- 2026 年出现4 步生成模型
- 速度提升 10 倍以上
七、性能指标
7.1 质量指标
| 指标 | 说明 | 典型值（2026） | 优劣 |
|---|---|---|---|
| FID | Fréchet Inception Distance | 5-15 | 越低越好 |
| CLIP Score | 文本 - 图像对齐度 | 25-35 | 越高越好 |
| IS | Inception Score | 8-12 | 越高越好 |
7.2 效率指标
| 指标 | 说明 | 典型值（2026） |
|---|---|---|
| 生成速度 | 单张图像生成时间 | 1-5 秒 |
| 分辨率 | 输出图像大小 | 1024×1024 ~ 4096×4096 |
| 显存需求 | 运行所需 GPU 显存 | 8-30GB |
| 采样步数 | 去噪迭代次数 | 4-50 步 |
八、总结
技术演进路线
2020-2022: GAN 主导 → StyleGAN、CycleGAN
2022-2024: 扩散模型崛起 → SD 1.5、DALL-E 2
2024-2025: 潜在扩散 + Flow Matching → SD 3、Flux
2025-2026: DiT + 一步生成 → 实时交互
核心技术对比
| 技术 | 优点 | 缺点 | 代表模型 |
|---|---|---|---|
| GAN | 速度快 | 训练不稳定 | StyleGAN |
| 传统扩散 | 质量高 | 速度慢 | SD 1.5 |
| 潜在扩散 | 质量效率平衡 | 需要 VAE | SDXL |
| Flow Matching | 速度极快 | 质量略降 | SD 3、Flux |
| DiT | 扩展性好 | 计算密集 | Flux |