概述

本模块介绍 LLM 中**上下文(Context)**的概念,包括 Token、分词、上下文窗口等核心知识点。

学习路径

01-Token 与分词
    ↓
02-上下文窗口

核心笔记索引

笔记描述状态
01-Token 与分词Token 定义、中英文 Token 差异、词向量表示✅ 完成
02-上下文窗口上下文窗口定义、作用、扩展技术✅ 完成

核心概念速查

概念说明参考
TokenLLM 处理文本的基本单位01-Token 与分词
分词(Tokenization)将文本切分为 Token 的过程01-Token 与分词
上下文窗口模型能处理的最大 Token 数量02-上下文窗口
词向量Token 的数学表示01-Token 与分词

与其他模块的关联


更新记录

日期内容
2026-03-17初始版本
2026-04-09标准化 MOC 结构

此文件夹下有2条笔记。