前置知识
一、视频生成的本质
视频生成的本质是创造时空连续的变化——它不仅要画得对（空间准确），还要动得自然（时间连贯）。
[!比喻] 图像生成 vs 视频生成 图像生成是拍照片——找准瞬间就行，画面里的人手有点歪可以后期修。 视频生成是拍电影——演员不能变脸、动作要连贯、剧情要合理，观众会盯着每一帧看。
图像生成：画一张人像
↓
只要静态准确就行
视频生成：画一个人跑步的 120 帧视频
↓
- 每帧都要准确
- 帧与帧之间要连贯
- 动作要符合物理规律
- 角色不能"变脸"
二、核心技术架构
2.1 整体架构
graph TB A[文本提示] --> B[文本编码器 CLIP/T5] B --> C[文本嵌入向量] D[随机噪声 + 首帧图像] --> E[3D 去噪网络] C --> E E --> F[时空潜在表示] F --> G[3D VAE 解码器] G --> H[视频帧序列] H --> I[可选：音频生成] I --> J[最终音视频]
2.2 关键组件详解
（1）3D 扩散模型
图像扩散模型（如 Stable Diffusion）只处理空间维度（高×宽）。视频生成需要增加时间维度（帧序列）。
图像扩散 2D：
[空间注意力] → 处理单张图片
视频扩散 3D：
[空间注意力] + [时间注意力] → 处理帧序列
3D 扩散的关键：
- 时空注意力（Spatio-Temporal Attention）：同时关注”画面内容”和”前后帧”
- U-Net 3D：将 2D 卷积扩展到 3D（高×宽×时间）
- DiT（Diffusion Transformer）：用 Transformer 替代 U-Net，更适合长序列
（2）视频生成的三种模式
┌──────────────────────────────────────────────────────┐
│ 视频生成模式 │
├──────────────────────────────────────────────────────┤
│ │
│ 文生视频（T2V）：文本 → 视频 │
│ 例子："一只猫在草地上奔跑" → 5 秒视频 │
│ │
│ 图生视频（I2V）：首帧图像 + 文本 → 视频 │
│ 例子：猫的 photo + "让它跑起来" → 5 秒视频 │
│ │
│ 视频续写（V2V）：视频片段 → 延续视频 │
│ 例子：前 5 秒 → 续写后 5 秒 │
│ │
└──────────────────────────────────────────────────────┘
（3）原生多模态设计
2026 年的新模型采用统一多模态架构——不是”先画视频再配音”，而是同时生成画面和声音。
传统方案：
文本 → 视频模型 → 视频
↓
音频模型 → 音频
（后期合成，容易不同步）
原生多模态：
文本 → 统一模型 → 视频 + 音频
（同时生成，天然同步）
技术实现：
- 将图像 patch 和视频帧统一编码为离散 token
- 音频波形也 token 化，与视频 token 一起处理
- 多模态注意力机制，让画面和声音”互相看见”
[!比喻] 音画同出像什么？ 传统方案是默片 + 后期配音——容易对不上口型。 音画同出是现场收音——演员说话时声音和画面天然同步。
三、视频生成的核心挑战
3.1 时序一致性
问题：视频里的主角不能”变脸”。
问题示例：
第 1 帧：长发女性，穿红色衣服
第 30 帧：头发变短了
第 60 帧：衣服变成蓝色了
第 90 帧：脸型都不一样了
↓
观众：这谁？还是同一个人吗？
解决方案：
- 参考图像：上传角色照片，模型锁定特征
- 角色嵌入（Character Embedding）：为角色创建专属向量表示
- 跨帧注意力：让每一帧都”参考”第一帧的角色特征
3.2 物理真实感
非物理真实（早期模型）：
- 人跳起来不落地
- 水往高处流
- 两个人穿模（身体互相穿透）
- 物体突然消失/出现
物理真实（2026 年模型）：
- 跳跃有起跳、腾空、落地
- 水花飞溅符合流体力学
- 碰撞有反作用力
- 物体持续存在（object permanence）
3.3 长视频生成
为什么长视频难？
单次生成时长 vs 技术难度：
5 秒（60 帧）： 可行，主流水平
15 秒（180 帧）：困难，需要多镜头拼接
60 秒（720 帧）：极难，需要分段生成 + 后期
问题：
- 显存爆炸：120 帧 1080p 视频 = 2.4 亿像素点
- 时序一致性：越后面越容易"漂移"
- 物理连贯性：动作不能违反物理规律
2026 年主流方案：
| 方案 | 原理 | 代表模型 |
|---|---|---|
| 多镜头拼接 | 生成多个短镜头，自动拼接 | Wan 2.6、Seedance 2.0 |
| 首尾帧控制 | 指定第一帧和最后一帧，中间插值 | Veo 3.1、Kling 3.0 |
| 视频延长 | 以末帧为起点继续生成 | Seedance 2.0、Sora 2 |
| 分段生成 | 按剧情分多段，分别生成后合成 | Sora 2 Pro |
四、分镜控制技术
4.1 运镜控制
专业视频生成需要导演级的控制能力。
graph LR A[运镜类型] --> B[推：镜头向前] A --> C[拉：镜头向后] A --> D[摇：水平转动] A --> E[移：镜头平移] A --> F[跟：跟随主体] A --> G[甩：快速转动] A --> H[升：镜头上升] A --> I[降：镜头下降]
运镜控制实现：
- 在提示词中指定镜头类型
- 使用专门的运镜控制模块
- 自动切换多个镜头形成连贯叙事
4.2 多模态参考
2026 年旗舰模型支持多模态输入参考：
Seedance 2.0 支持最多 12 个输入资产：
- 9 张图片（角色、场景、道具参考）
- 3 段视频（动作、运镜参考）
- 3 段音频（音乐、音效参考）
- 文本提示词
示例 Prompt：
参考 @图片 1 的分镜、@图片 2 的人物、@图片 3 的场景、
@视频 1 的动作节奏、@音频 1 的背景音乐
创作一段 15 秒的治愈片
五、2026 年新技术
5.1 Kling 3.0 的图生视频 + 主体参考
快手可灵 3.0 在 2026 年全球首创”图生视频 + 主体参考”：
工作流程：
1. 上传参考图像/视频
2. 模型提取角色形象与音色
3. 生成符合参考特征的视频
4. 角色跨镜头保持一致
解决的痛点：
- 角色”变脸”问题
- 多角色场景混乱
- 跨镜头外观不一致
5.2 Wan 2.6 的多镜头叙事
阿里通义万相 Wan 2.6 支持智能分镜：
- 单提示词生成多镜头序列
- 可指定镜头类型：特写、中景、全景、俯拍、仰拍
- 支持镜头过渡：淡入淡出、硬切、平滑转场
5.3 方言对口型
Kling 3.0 支持多种中文方言对口型：
- 粤语、四川话、东北话等
- 口型同步精准
- 适合本地化内容创作
六、性能指标
6.1 质量指标
| 指标 | 说明 | 典型值（2026） | 优劣 |
|---|---|---|---|
| FVD | Fréchet Video Distance | 50-150 | 越低越好 |
| CLIP Score | 文本 - 视频对齐度 | 28-35 | 越高越好 |
| 时序一致性 | 帧间连贯性评分 | 80-95 | 越高越好 |
6.2 效率指标
| 指标 | 说明 | 典型值（2026） |
|---|---|---|
| 生成速度 | 单视频生成时间 | 30 秒 -10 分钟 |
| 分辨率 | 输出视频大小 | 1080p ~ 4K |
| 帧率 | 每秒帧数 | 24/30/60 fps |
| 显存需求 | 运行所需 GPU 显存 | 16-80GB |
七、总结
视频生成技术栈
┌─────────────────────────────────────────┐
│ 应用层：文生视频、图生视频 │
├─────────────────────────────────────────┤
│ 控制层：运镜、角色、多模态参考 │
├─────────────────────────────────────────┤
│ 扩散层：3D 去噪网络、时空注意力 │
├─────────────────────────────────────────┤
│ 多模态层：音画同步生成 │
├─────────────────────────────────────────┤
│ 编码层：文本编码器、3D VAE │
├─────────────────────────────────────────┤
│ 数据层：视频 - 音频配对语料 │
└─────────────────────────────────────────┘
核心要点
- 本质：创造时空连续的变化，既要空间准确又要时间连贯
- 架构：3D 扩散模型 + 时空注意力 + 原生多模态
- 挑战：时序一致性、物理真实感、长视频生成
- 控制：运镜控制、角色一致性、多模态参考
- 趋势：音画同出、多镜头叙事、4K 输出、物理真实
延伸阅读
- 视频生成应用 - 返回总览
- 02-主流产品 - 了解主流视频生成产品
- 03-使用方法 - 学习如何高效使用视频生成
- 视频生成模型技术原理 - 更深入的技术细节
- 图片生成核心原理 - 图片生成技术基础