← AI 术语表

AI 术语表 · 基础 · 语言模型 · 智能体

上下文工程

上下文工程是设计 AI 模型(LLM)生成回答时所看到的全部信息的工作。它决定在指令、对话记录、检索到的文档、工具结果中,放入什么、放多少、按什么顺序放。

关于这个术语
难度
基础 · AI 新闻中常见的技术术语
加入时间
2026-10-08
通俗解释 这类似于会前为发言人准备一份资料包。需要的资料一样不落,没用的资料去掉,重要的资料放在前面,发言人才能答得好。

工作原理

除了训练时学到的知识,LLM 只能根据当前输入的文本(上下文)作答。但一次能看的量(上下文窗口)是有限的。因此,需要从指令·问题、之前的对话记录、通过 RAG 找到的文档、工具执行结果等材料中挑选所需内容,进行压缩和排列。比如把旧对话做成摘要,只放入相关文档,工具说明也只在需要时放入。整理好的上下文再交给模型,得到回答。

上下文的构建过程指令·问题 → 挑选·摘要·排列; 对话记录 → 挑选·摘要·排列; 检索到的文档 → 挑选·摘要·排列; 工具结果 → 挑选·摘要·排列; 挑选·摘要·排列 → 上下文窗口(装入); 上下文窗口 → LLM; LLM → 回答指令·问题对话记录检索到的文档工具结果挑选·摘要·排列上下文窗口有限的空间LLM回答装入
上下文的构建过程 从左侧的多种材料中只挑出需要的,压缩并排列后装入有限的上下文窗口,再由模型据此作答。

为什么重要

即使是同一个模型,给它看什么信息,结果也会差别很大。尤其是能自主连续执行多个步骤的 AI 智能体,任务越长,工具结果和对话越多,上下文很快就会被填满。放得太多会增加成本,并淹没重要信息;放得太少,模型可能会编造它不知道的内容,产生幻觉。因此,关注点已从写好一句指令,扩展到设计向模型提供信息的整套方式。

注意事项

它与提示工程有很多重叠。提示工程专注于把指令本身写好,而上下文工程处理的是包括指令在内、模型看到的全部信息。没有固定公式,需要针对每项任务边实验边调整。上下文窗口变长了,也不是把所有东西都放进去就能解决问题。一般认为,输入越长,越容易遗漏位于中间的信息。

示例

编程智能体收到用户请求后,不会放入整个代码仓库,而是只查找并读取相关文件。同时放入项目规则文件,对话变长时还会把前面的部分做成摘要以腾出空间。客服聊天机器人也只挑选该客户的信息、相关 FAQ 文档和最近的咨询记录放入,再生成回答。

相关术语