AI 术语表 · 入门 · 语言模型
上下文窗口
上下文窗口是 AI 模型一次能够读取、记住和处理的文本的最大量，通常用 token 数表示。
通俗解释 这类似于桌面上一次能摊开的文件量。桌子大，就能同时看着很多文件工作；放不下的文件会被挤到桌外，看不见了。
工作原理
用户输入的问题、之前的对话、附加的文档，以及模型写出的回答，都必须放在上下文窗口内。超出这个范围时，较早的内容可能被截掉，或者请求直接被拒绝处理。模型只直接参考这个窗口内的内容来生成回答。
共用同一个窗口的内容
上下文窗口（词元上限）
指令之前的对话附件文档本次提问模型生成的回答超出部分：被截断或拒绝
为什么重要
上下文窗口大，就可以把长篇报告、合同或整份代码一次放进去提问。在长对话中也能不忘记前面的内容，持续下去。因此，新模型发布时，上下文窗口大小常被作为主要特点介绍。
注意事项
窗口大，并不意味着能同样好地利用其中所有内容，有时会遗漏长文本中间的信息。另外，放入的内容越多，处理成本和时间也越多。这就是为什么常会同时使用 RAG 这类只挑选所需部分放入的方法。
示例
向文档摘要服务上传较长的 PDF 时，有时会出现“文档过长”的提示，或者只摘要了其中一部分。这通常是因为文档篇幅超出了模型的上下文窗口。