前置知识
一、视频生成的核心挑战
视频生成比图像生成难得多——它不仅要画得对，还要动得自然。
图像生成：画一张人像
↓
只要静态准确就行
视频生成：画一个人跑步的 120 帧视频
↓
- 每帧都要准确
- 帧与帧之间要连贯
- 动作要符合物理规律
- 角色不能"变脸"
[!比喻] 图像生成 vs 视频生成 图像生成是拍照片——找准瞬间就行。 视频生成是拍电影——演员不能变、动作要连贯、剧情要合理。
二、核心架构：时空扩散模型
2.1 从 2D 扩散到 3D 扩散
图像扩散模型（如 Stable Diffusion）只处理空间维度（高×宽）。视频生成需要增加时间维度（帧序列）。
graph TD A[图像扩散 2D] --> B[空间注意力] A --> C[处理单张图片] D[视频扩散 3D] --> E[空间注意力] D --> F[时间注意力] D --> G[处理帧序列] B -.->|扩展 | E C -.->|扩展 | G
3D 扩散的关键：
- 时空注意力（Spatial-Temporal Attention）：同时关注”画面内容”和”前后帧”
- U-Net 3D：将 2D 卷积扩展到 3D（高×宽×时间）
- DiT（Diffusion Transformer）：用 Transformer 替代 U-Net，更适合长序列
2.2 视频生成的三种模式
┌──────────────────────────────────────────────────────┐
│ 视频生成模式 │
│ │
│ 文生视频（T2V）：文本 → 视频 │
│ 例子："一只猫在草地上奔跑" → 5 秒视频 │
│ │
│ 图生视频（I2V）：首帧图像 + 文本 → 视频 │
│ 例子：猫的 photo + "让它跑起来" → 5 秒视频 │
│ │
│ 视频续写（V2V）：视频片段 → 延续视频 │
│ 例子：前 5 秒 → 续写后 5 秒 │
└──────────────────────────────────────────────────────┘
三、原生多模态设计
2026 年的新模型（Kling 3.0、Wan 2.6、Seedance 2.0）采用统一多模态架构——不是”先画视频再配音”，而是同时生成画面和声音。
3.1 统一 Token 化
传统方案：
文本 → 视频模型 → 视频
↓
音频模型 → 音频
（后期合成，容易不同步）
原生多模态：
文本 → 统一模型 → 视频 + 音频
（同时生成，天然同步）
技术实现：
- 将图像 patch 和视频帧统一编码为离散 token
- 音频波形也 token 化，与视频 token 一起处理
- 多模态注意力机制，让画面和声音”互相看见”
3.2 Kling 3.0 的音画同出
快手可灵 3.0 在 2026 年升级”音画同出”能力：
- 支持人声、音效、环境声、混合音效
- 语音节奏与画面动作深度对齐
- 中文语音生成效果全球领先
- 支持方言对口型（粤语/四川话/东北话等）
[!比喻] 音画同出像什么？ 传统方案是默片 + 后期配音——容易对不上口型。 音画同出是现场收音——演员说话时声音和画面天然同步。
四、分镜控制技术
专业视频生成需要导演级的控制能力。
4.1 运镜控制
graph LR A[运镜类型] --> B[推：镜头向前] A --> C[拉：镜头向后] A --> D[摇：水平转动] A --> E[移：镜头平移] A --> F[跟：跟随主体]
Wan 2.6 的运镜控制：
- 支持智能分镜，自动生成多镜头序列
- 可指定镜头类型：特写、中景、全景、俯拍、仰拍
- 支持镜头过渡：淡入淡出、硬切、平滑转场
4.2 角色控制
角色一致性问题：视频里的主角不能”变脸”。
问题示例：
第 1 帧：长发女性
第 30 帧：头发变短了
第 60 帧：衣服颜色变了
第 90 帧：脸型不一样了
↓
观众：这谁？还是同一个人吗？
解决方案：
- 参考图像：上传角色照片，模型锁定特征
- 角色嵌入（Character Embedding）：为角色创建专属向量表示
- 跨帧注意力：让每一帧都”参考”第一帧的角色特征
4.3 Seedance 2.0 的多模态参考
字节 Seedance 2.0 支持最多 12 个输入资产：
- 9 张图片（角色、场景、道具参考）
- 3 段视频（动作、运镜参考）
- 3 段音频（音乐、音效参考）
- 文本提示词
示例 Prompt：
参考 @图片 1 的分镜、@图片 2 的人物、@图片 3 的场景、
@视频 1 的动作节奏、@音频 1 的背景音乐
创作一段 15 秒的治愈片
五、长视频生成挑战
5.1 为什么长视频难
单次生成时长 vs 技术难度：
5 秒（60 帧）： 可行，主流水平
15 秒（180 帧）：困难，需要多镜头拼接
60 秒（720 帧）：极难，需要分段生成 + 后期
问题：
- 显存爆炸：120 帧 1080p 视频 = 2.4 亿像素点
- 时序一致性：越后面越容易"漂移"
- 物理连贯性：动作不能违反物理规律
5.2 2026 年主流方案
| 方案 | 原理 | 代表模型 |
|---|---|---|
| 多镜头拼接 | 生成多个短镜头，自动拼接 | Wan 2.6、Seedance 2.0 |
| 首尾帧控制 | 指定第一帧和最后一帧，中间插值 | Veo 3.1、Kling 3.0 |
| 视频延长 | 以末帧为起点继续生成 | Seedance 2.0、Sora 2 |
| 分段生成 | 按剧情分多段，分别生成后合成 | Sora 2 Pro |
六、物理真实感
6.1 什么是物理真实感
非物理真实（早期模型）：
- 人跳起来不落地
- 水往高处流
- 两个人穿模（身体互相穿透）
- 物体突然消失/出现
物理真实（2026 年模型）：
- 跳跃有起跳、腾空、落地
- 水花飞溅符合流体力学
- 碰撞有反作用力
- 物体持续存在
6.2 Kling 3.0 的突破
快手可灵 3.0 在 2026 年发布，在物理真实感上大幅提升：
- 大动态场景：打斗、跑步跟拍、多人群舞
- 复杂动作：花样滑冰、花样游泳
- 微表情：人物表情细腻有张力
- 角色一致性：图生视频 + 主体参考全球首创
七、总结
mindmap root((视频生成技术)) 核心架构 3D 扩散 时空注意力 DiT Transformer 生成模式 文生视频 T2V 图生视频 I2V 视频续写 V2V 多模态 原生音画同步 统一 Token 化 分镜控制 运镜控制 角色一致性 多镜头叙事 长视频 多镜头拼接 首尾帧控制 视频延长
视频生成在 2026 年进入生产力时代——不再是”抽卡玩具”，而是可以真正用于广告、短剧、影视预演的导演工具。