前置知识
本文是大模型基础理论模块的入门笔记，无需前置知识。
一、什么是大语言模型
大语言模型（Large Language Model，简称 LLM）是一种基于深度学习技术的人工智能程序，通过在海量文本数据上进行训练，学会理解和生成人类语言。
从本质上讲，LLM 是一个概率预测器——它的核心任务是根据给定的上文，预测下一个最可能出现的文字。
一句话理解
大语言模型 = 读了很多书的 AI，它能”理解”你说的话，并生成像人一样自然的回答。
二、LLM 的工作原理
2.1 本质：神经网络
LLM 本质上是一个超级复杂的数学函数——由无数个参数组成的神经网络。
输入文字 → 经过层层计算 → 输出预测
这些”开关”（参数）在训练过程中被不断调整，最终形成一个能”理解”语言的超级网络。
[!比喻] 神经网络 想象一个由成千上万个小灯泡组成的魔方。每个灯泡的亮暗程度会影响下一层灯泡的状态。LLM 就是这样一个层层嵌套、极其复杂的”灯泡魔方”，当输入文字时，这些灯泡会按照特定规则逐层亮起，最终呈现出我们看到的回答。
2.2 输入：Token（词元）
当你和 LLM 对话时，你输入的文字首先会被分词（Tokenization）。
Token（词元）是语言模型处理的基本单位。它可以是：
- 一个完整的词（如”苹果”）
- 一个词的一部分（如”苹果”可能分成”苹”+“果”）
- 甚至只是一个字符
原句：今天天气很好
→ Token 化：[今天] [天气] [很好] [EOF]
GPT-4 的词汇表大约有 10 万个 Token。
2.3 输出：概率分布
LLM 的核心任务是：给定前面的词，预测下一个最可能的词。
当你输入”今天的”时，模型会计算所有可能的下一个词的概率：
输入："今天的"
┌─────────────────────────────────────┐
│ 天气 ████████████████████ 35% │
│ 事情 ████████████ 18% │
│ 太阳 ████████ 10% │
│ 股票 ██████ 8% │
│ ... │
└─────────────────────────────────────┘
然后，它根据这个概率分布采样一个词作为输出。
常见采样策略
具体解释详见常见采样策略
- Temperature: 调整概率分布的”尖锐度”。温度越高，分布越平缓，越可能选低概率词
- Top-k: 只从概率最高的 k 个词中采样
- Top-p (Nucleus): 从累积概率达到 p 的最小词集合中采样
2.4 训练：自监督学习
LLM 的”学习”过程：
- 大量阅读：把互联网上的海量文本喂给模型
- 做填空题：模型看到”今天的___“，正确答案来自库中
- 调整参数：如果预测错了，就微调网络中的参数
- 反复练习：重复这个过程 trillions（万亿）次
这个过程叫做 “自监督学习”——不需要人工标注答案，文本本身就是最好的”老师”。
训练数据规模
训练一个顶级 LLM 需要阅读数万亿个 Token，相当于数百万本书的内容。GPT-3 的训练数据约 3000 亿个 Token，耗费了数百万美元的计算资源。
2.5 推理：自回归生成
当你和 LLM 对话时，它是这样”说话”的：
第 1 步：输入 "什么是 AI？"
第 2 步：模型预测下一个词 → 最可能是"人工"
第 3 步：输入变成 "什么是 AI？人工"
第 4 步：模型预测下一个词 → 最可能是"智能"
第 5 步：输入变成 "什么是 AI？人工智能"
第 6 步：... 重复直到生成完整回答
这个过程叫做 自回归生成（Autoregressive Generation）——每生成一个词，就把它加到输入里，继续预测下一个。
三、LLM 的核心特点
3.1 规模巨大
“大”主要体现在两个方面：
| 维度 | 说明 |
|---|---|
| 参数数量 | 参数是模型的”脑细胞”，决定它能记住多少知识。主流 LLM 的参数规模从几十亿到几千亿不等。GPT-4 估计有约 1.8 万亿个参数。 |
| 训练数据 | LLM 阅读过海量的书籍、网页、文章、代码等，训练数据量可达 TB 级别（相当于数百万本书）。 |
为什么要这么大？
科学研究发现，当模型规模超过某个临界点时，会出现”涌现”现象——模型突然具备了一些意想不到的能力，比如推理、编写代码等。
3.2 通用能力强
传统的 AI 聊天机器人通常是”专家型”的——专门处理某一类问题。而 LLM 是”通才型”的：
- ✅ 能聊历史、科学、技术、生活各种话题
- ✅ 能写文章、写诗、写代码
- ✅ 能翻译、能总结、能推理
- ✅ 只需要用自然语言跟它对话，无需复杂操作
[!比喻] 传统 AI 是”专科医生”，LLM 是”全科医生”。虽然专科医生在特定领域可能更专业，但全科医生能处理更多常见问题。
3.3 上下文理解能力
LLM 不仅能理解单句话，还能”记住”对话上下文。这让它可以进行多轮对话：
你：帮我推荐一部电影
LLM：请问你喜欢什么类型？
你：科幻类的
LLM：《星际穿越》是一部经典的科幻电影，...
3.4 涌现能力
涌现能力（Emergent Abilities）是 LLM 最神奇的地方。当模型足够大时，会”涌现”出一些训练时没有专门教它的能力：
- 零样本学习：不需要示例就能完成新任务
- 思维链推理：能把复杂问题拆成步骤逐步推理
- 自我纠错：能够检查和修正自己的错误
- 角色扮演：能扮演不同角色进行对话
涌现的不可预测性
科学家至今无法准确预测多大的模型会涌现哪些能力，这也是 LLM 研究的一个重要谜题。
3.5 生成式
LLM 的核心能力是”生成”——它不是从预设答案库中检索，而是实时生成新的文本。这让它具有创造性，但也意味着：
- 可能生成看似合理但实际错误的内容（幻觉）
- 生成结果具有不确定性（同样的问题可能有不同回答）
四、LLM 与传统程序的区别
| 特点 | 传统程序 | LLM |
|---|---|---|
| 工作方式 | 写死规则，按规则执行 | 从数据中学习，自主理解 |
| 能力边界 | 固定，受限于编程 | 灵活，有”涌现”潜力 |
| 交互方式 | 需要精确指令 | 支持自然语言 |
| 错误处理 | 可预测、可调试 | 不可预测，需人工审核 |
| 可解释性 | 高（规则清晰） | 低（像黑箱） |
五、LLM 的局限性
尽管 LLM 很强，但它并非完美：
| 局限 | 说明 |
|---|---|
| 幻觉问题 | 可能一本正经地胡说八道 |
| 知识时效性 | 训练数据有截止日期，不了解最新信息 |
| 算力需求 | 运行成本高昂，不是普通设备能承载的 |
| 偏见问题 | 可能继承训练数据中的偏见 |
| 推理局限 | 虽然能推理，但缺乏真正的理解和意识 |
理性看待
LLM 是强大的工具，但不是万能的。了解它的局限，才能更好地使用它。
六、总结
大语言模型是人工智能领域的重大突破，它：
- ✅ 像人一样理解和使用自然语言
- ✅ 具备广泛的知识和多种能力
- ✅ 可以通过对话交互完成各种任务
- ⚠️ 需要理性看待其局限性和潜在风险
理解 LLM 的定义和特点，是系统学习 LLM 的第一步。
延伸阅读
- 02-概率预测机制 - 深入了解 LLM 的核心工作机制
- 03-Transformer 架构 - 了解 LLM 的技术心脏
- 01-预训练 - 了解 LLM 是如何”学会”知识的