预训练与微调
本模块系统介绍大语言模型的训练流程，包括预训练、微调和人类对齐三个阶段。这是理解 LLM 如何从”空白”神经网络成长为智能助手的核心知识。
概述
LLM 的训练可以分为三个关键阶段：
- 预训练：在海量文本上学习语言规律和世界知识
- 微调：用专业数据让模型适应特定任务
- 人类对齐：让模型输出符合人类价值观和偏好
[!比喻] 训练流程类比 如果把 LLM 比作培养一个人才：
- 预训练 = 小学到大学的通识教育（博览群书，成为通才）
- 微调 = 职业技能培训（学习专业技能，成为专家）
- 人类对齐 = 品德教育（学习社会规范，成为合格公民）
学习路径
前置知识：大模型基本原理 - 了解 Transformer 架构和 LLM 基础
01-预训练 → 02-微调技术 → 03-人类对齐与 RLHF
核心笔记索引
| 笔记 | 内容概要 | 状态 |
|---|---|---|
| 01-预训练 | 预训练定义、核心任务（Next Token Prediction）、数据规模与来源、Base Model 特点 | ✅ 完成 |
| 02-微调技术 | 指令微调、高效微调（LoRA/QLoRA）、领域微调、最佳实践 | ✅ 完成 |
| 03-人类对齐与 RLHF | RLHF 三步骤、DPO 替代方案、对齐税、安全对齐 | ✅ 完成 |
核心概念速查
| 概念 | 说明 | 参考 |
|---|---|---|
| 预训练 | 在海量无标注文本上自监督学习，产出 Base Model | 01-预训练 |
| Next Token Prediction | 预测下一个词元，预训练的核心任务 | 01-预训练 |
| Base Model | 预训练完成后的基础模型，具备通用知识但不会对话 | 01-预训练 |
| 微调 | 在少量专业数据上调整模型，适应特定任务 | 02-微调技术 |
| 指令微调 | 用”指令 - 回答”数据训练模型遵循指令 | 02-微调技术 |
| LoRA | 低秩适配，高效微调技术，只训练少量参数 | 02-微调技术 |
| RLHF | 基于人类反馈的强化学习，对齐人类价值观 | 03-人类对齐与 RLHF |
| DPO | 直接偏好优化，无需奖励模型的 RLHF 替代方案 | 03-人类对齐与 RLHF |
| Chat Model | 经过微调和 align 后，可用于对话的模型 | 02-微调技术 |
训练流程全景
┌─────────────────────────────────────────────────────────────┐
│ LLM 训练流程 │
├─────────────────────────────────────────────────────────────┤
│ │
│ 1. 预训练阶段 │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ 海量文本 │ → │ Transformer │ → │ Base Model │ │
│ │ (万亿 Token) │ │ 训练 │ │ (通才) │ │
│ └─────────────┘ └─────────────┘ └─────────────┘ │
│ │
│ 2. 微调阶段 │
│ ┌─────────────┐ ┌─────────────┐ │
│ │ 指令数据 │ → │ 指令微调 │ → 指令微调模型 │
│ └─────────────┘ └─────────────┘ │
│ │
│ 3. 对齐阶段 │
│ ┌─────────────┐ ┌─────────────┐ │
│ │ 人类反馈 │ → │ RLHF/DPO │ → Chat Model │
│ └─────────────┘ └─────────────┘ │
│ │
└─────────────────────────────────────────────────────────────┘
与其他模块的关联
- 大模型基本原理 - Transformer 架构、注意力机制
- 大模型进阶概念 - 模型类型、架构变体等
- 上下文 Context - 理解上下文窗口与预训练的关系
延伸阅读推荐
| 资料类型 | 推荐内容 |
|---|---|
| 论文 | Training Language Models to Follow Instructions with Human Feedback - InstructGPT/RLHF 开创性论文 |
| 论文 | LoRA: Low-Rank Adaptation of Large Language Models - LoRA 原始论文 |
| 论文 | Direct Preference Optimization - DPO 论文 |
| 博客 | The Scaling Hypothesis - Gwern 关于规模假设的深度分析 |
| 视频 | Andrej Karpathy: Intro to LLMs - YouTube 上的入门讲解 |
更新记录
| 日期 | 更新内容 |
|---|---|
| 2026-04-09 | 初始版本，完成模块构建 |