大模型基本原理

概述

本模块系统介绍大语言模型（Large Language Model, LLM）的基本原理，从定义出发，深入到核心工作机制和技术架构。

01-大语言模型概述
       ↓
02-概率预测机制
       ↓
03-Transformer 架构

笔记	描述	状态
01-大语言模型概述	LLM 定义、本质、核心特点与局限性	✅ 完成
02-概率预测机制	Token 分词、Next Token Prediction、自回归生成、采样策略	✅ 完成
03-Transformer 架构	注意力机制、编码器 - 解码器、架构变体	✅ 完成

概念	说明	参考
大语言模型	基于深度学习的大规模语言模型，具备理解和生成自然语言的能力	01-大语言模型概述
概率预测	LLM 的核心任务：根据上文预测下一个 Token 的概率分布	02-概率预测机制
自回归生成	逐词生成：每生成一个词就将其加入上下文，继续预测下一个	02-概率预测机制
Transformer	LLM 的核心架构，基于自注意力机制实现并行计算和长距离依赖捕捉	03-Transformer 架构
注意力机制	让模型学会关注输入序列中的重要信息	03-Transformer 架构

日期	内容
2026-04-09	初始版本，完成模块重构