图片生成的核心原理

前置知识

阅读本文前，建议先了解：

• 原生多模态设计 - 多模态基础
• Transformer 架构 - Transformer 基本原理

---

一、图片生成的本质

图片生成的本质是从噪声中创造秩序——从一个完全随机的噪声图像开始，逐步去除噪声，最终生成一张符合你描述的清晰图像。

[!比喻] 扩散模型像什么？ 传统绘画：画家在空白画布上一笔一笔添加颜料，直到完成作品。 扩散模型：雕塑家面对一团大理石（噪声），一点点凿去多余的部分，最终露出隐藏在里面的雕像。

生成过程：
纯噪声 → 去噪 1% → 去噪 10% → 去噪 50% → 去噪 90% → 清晰图像
 (t=T)                                             (t=0)

---

二、核心技术架构

2.1 整体架构

graph TB
    A[文本提示] --> B[文本编码器 CLIP/T5]
    B --> C[文本嵌入向量]

    D[随机噪声] --> E[去噪网络 U-Net/DiT]
    C --> E

    E --> F[潜在表示]
    F --> G[VAE 解码器]
    G --> H[输出图像]

    H --> I[可选：超分辨率]
    I --> J[最终高分辨率图像]

2.2 关键组件详解

（1）文本编码器（Text Encoder）

文本编码器是将人类语言转换为模型能理解的数字向量的”翻译官”。

常用编码器：

编码器	来源	特点	使用模型
CLIP	OpenAI	多模态对比学习	SD 系列
T5	Google	大语言模型	Imagen
LLM	各家	语义理解强	GPT-Image

文本提示："一只在草地上奔跑的金毛犬"
     ↓ 文本编码器
向量：[0.85, -0.32, 0.67, ..., 0.14]  # 768 维或更高

（2）扩散过程（Diffusion Process）

扩散模型的核心是逐步加噪与去噪的训练过程。

前向过程（训练时）：

原始图像 → 加噪 1% → 加噪 10% → ... → 加噪 99% → 纯噪声

反向过程（生成时）：

纯噪声 → 去噪 1% → 去噪 10% → ... → 去噪 99% → 清晰图像

为什么需要这么多步？

每一步只去除一点点噪声，这样生成的图像质量更高。2026 年的新技术（Flow Matching）已经将步数从 50 步减少到 4-10 步，速度提升 5-10 倍。

（3）去噪网络（Denoising Network）

去噪网络是扩散模型的”大脑”，负责预测并去除噪声。

架构演进：

2022-2024: U-Net 主导（Stable Diffusion 1.x-2.x）
              ↓
2024-2025: DiT 崛起（Flux、SD 3）
              ↓
2025-2026: 一步生成探索

U-Net vs DiT：

特性	U-Net	DiT (Diffusion Transformer)
感受野	局部	全局（自注意力）
扩展性	有限	优秀
计算量	较低	较高
代表模型	SD 1.5/2.x/XL	Flux、SD 3

（4）VAE（变分自编码器）

VAE 负责在像素空间和潜在空间之间转换。

┌─────────────────────────────────────────────────────┐
│                  VAE 工作原理                        │
├─────────────────────────────────────────────────────┤
│                                                     │
│  编码器（压缩）：                                    │
│  512×512×3 像素 → 64×64×4 潜在表示（压缩 64 倍）      │
│                    ↓                                │
│              扩散过程在此进行                        │
│                    ↓                                │
│  解码器（还原）：                                    │
│  64×64×4 潜在表示 → 512×512×3 像素输出               │
│                                                     │
└─────────────────────────────────────────────────────┘

[!比喻] 潜在空间的作用 想象你要画一幅画：

• 像素空间：直接在 4K 画布上修改，每笔都要处理数百万像素
• 潜在空间：先在草图本上构思（64×64），再转绘到画布上

潜在扩散就是在压缩的”草图空间”中进行，效率提升数十倍。

---

三、条件生成机制

3.1 Cross-Attention（交叉注意力）

Cross-Attention 是将文本条件注入到去噪过程的关键机制。

文本提示 → 文本编码器 → 文本嵌入向量
                        ↓
噪声 + 时间步 → 去噪网络 → Cross-Attention → 注入文本条件

[!比喻] Cross-Attention 像什么？ 就像一个”翻译官”站在画家（去噪网络）旁边，不断提醒他：“主人说要画一只狗，不是猫”、“注意，草地应该是绿色的”。

3.2 Classifier-Free Guidance（CFG）

CFG 是一种无需额外分类器就能提高生成质量的技术。

CFG Scale 参数作用：

Cfg Scale = 1  → 完全忽略提示词，自由生成
Cfg Scale = 7  → 平衡创意与准确性（推荐默认值）
Cfg Scale = 15 → 严格遵循提示词，可能过度拟合

实际效果对比：

提示词："一只金色的狗在草地上"

CFG=1:  可能生成任何内容，与提示词无关
CFG=7:  生成狗和草地，颜色基本准确
CFG=15: 严格遵循"金色"和"草地"，但图像可能过度饱和

---

四、2025-2026 新架构

4.1 Flow Matching（流匹配）

[!比喻] 流匹配 vs 传统扩散 传统扩散：从 A 点到 B 点走随机弯曲路径，需要很多步。 流匹配：学习一条最优直线路径，几步就能到达。

核心优势：

• 更高效的采样路径
• 从 50 步减少到 4-10 步
• 速度提升 5-10 倍

采用 Flow Matching 的模型：

• SD 3 / SD 3.5
• Flux 系列
• 腾讯混元图像 3.0

4.2 DiT（Diffusion Transformer）

传统 U-Net 架构的局限性：

• 局部感受野，长程依赖建模弱
• 扩展性受限

DiT 的优势：

• 用 Transformer 替代 U-Net 作为去噪网络
• 自注意力捕捉全局关系
• 更好的扩展性

4.3 一步生成技术

2026 年最新突破：

技术	步数	速度提升	适用场景
传统扩散	20-50 步	基准	高质量创作
Flow Matching	4-10 步	5-10 倍	平衡质量速度
一步生成	1 步	20-50 倍	实时交互

一步生成的代价

一步生成速度极快，但图像质量通常略低于多步生成。适合实时交互场景，不适合高质量创作。

---

五、高级技术

5.1 LoRA（Low-Rank Adaptation）

LoRA 是一种轻量级的模型微调技术。

传统微调 vs LoRA：

传统微调：
- 需要调整全部参数（数 GB 到数十 GB）
- 训练成本高
- 每个风格需要一个完整模型

LoRA 微调：
- 只调整低秩矩阵（几 MB 到几百 MB）
- 训练成本低
- 可以组合多个 LoRA 实现风格混合

LoRA 应用场景：

• 特定艺术风格
• 特定角色/人物
• 特定物体（如某种车型）
• 特定画风（如动漫、油画）

5.2 ControlNet（可控生成）

ControlNet 让图片生成从”抽卡”变成”可控创作”。

支持的控制条件：

┌─────────────────────────────────────────┐
│            ControlNet 控制条件           │
├─────────────────────────────────────────┤
│  Canny 边缘    → 保持轮廓结构           │
│  Depth 深度    → 保持空间层次           │
│  Pose 姿态     → 控制人物动作           │
│  Scribble 草图 → 根据手绘草图生成       │
│  Segment 分割  → 指定区域内容           │
└─────────────────────────────────────────┘

5.3 Inpainting（局部重绘）

Inpainting 允许只修改图像的特定区域。

原始图像 + 掩码（指定区域）+ 新提示词
              ↓
        只修改掩码区域
              ↓
        输出修改后的图像

应用场景：

• 更换衣服
• 添加/移除物体
• 修复老照片
• 局部风格调整

5.4 功能性记忆（腾讯混元）

2026 年腾讯混元提出的新范式。

[!比喻] 功能性记忆 传统模型：像一本固定答案的书，每次遇到问题都要翻书找答案。 功能性记忆：像聪明的助手，会根据你的具体问题现场思考，给出量身定制的回答。

核心特点：

• 打破传统静态权重局限
• 推理时实时生成个性化参数
• 解决灾难性遗忘、性能跷跷板问题

---

六、性能指标

6.1 质量指标

指标	说明	典型值（2026）	优劣
FID	Fréchet Inception Distance	5-15	越低越好
CLIP Score	文本 - 图像对齐度	25-35	越高越好
IS	Inception Score	8-12	越高越好

6.2 效率指标

指标	说明	典型值（2026）
生成速度	单张图像生成时间	1-5 秒
分辨率	输出图像大小	1024×1024 ~ 4096×4096
显存需求	运行所需 GPU 显存	8-30GB
采样步数	去噪迭代次数	4-50 步

---

七、总结

图片生成技术栈

┌─────────────────────────────────────────┐
│            应用层：文生图、图生图        │
├─────────────────────────────────────────┤
│            控制层：ControlNet、LoRA     │
├─────────────────────────────────────────┤
│            扩散层：去噪网络、采样器      │
├─────────────────────────────────────────┤
│            编码层：文本编码器、VAE      │
├─────────────────────────────────────────┤
│            数据层：训练图像语料          │
└─────────────────────────────────────────┘

核心要点

1. 本质：从噪声中逐步去噪生成图像
2. 架构：文本编码器 + 去噪网络 + VAE 解码器
3. 关键：Cross-Attention 注入文本条件，CFG 控制贴合度
4. 趋势：Flow Matching、DiT、一步生成
5. 控制：LoRA 风格微调，ControlNet 结构控制

---

延伸阅读

• 图片生成应用 - 返回总览
• 02-主流产品 - 了解主流图片生成产品
• 03-使用方法 - 学习如何高效使用图片生成
• 图片生成模型技术原理 - 更深入的技术细节
• 扩散模型 - 扩散模型深入讲解