检索增强生成（RAG）：让模型“开卷作答”的方法

为何需要：仅靠脑中的知识还不够

大语言模型（LLM）能记住相当多在训练数据中见过的事实。但这些知识分散在数十亿个参数之中。REALM 论文指出，按照这种方式，要容纳更多事实，就必须不断扩大网络规模。

最早提出 RAG 的 Lewis 等人（2020）更具体地列举了缺点：参数中的知识难以扩充或修改，难以展示给出某个答案的依据，还会出现把不实内容编造得煞有介事的幻觉（Hallucination）。在知识密集型任务上，其性能也不如专为该任务设计的系统。

2023 年的 RAG 综述（Gao 等人）也把幻觉、过时的知识和无法追溯的推理过程列为 LLM 面临的挑战。核心问题在于：世界在不断变化，而模型的知识却停留在训练结束的那一刻。

核心思路：从闭卷考试到开卷考试

RAG 的想法是“不要让模型背下一切，而是在需要时翻书查阅”。参加闭卷考试的学生如果记错了，就会直接写出错误答案。参加开卷考试的学生则会找到相关页面阅读，并据此作答。

Lewis 等人用两种记忆来解释这一点。一种是存于模型参数中的“参数化记忆”，另一种是外部文档库，即“非参数化记忆”。在他们的 RAG 中，预训练的生成模型（BART）承担参数化记忆，而把维基百科文档转换为向量后建立的索引承担非参数化记忆。

这样划分的好处很明显。书（文档库）可以直接修改和扩充，也可以查看模型参考了哪些页面。实际上，这篇论文表明，仅靠替换文档库就能更新模型的知识。

工作原理：准备、检索、生成

第一，有一个事先完成的准备阶段。把文档切成合适的大小（分块），再把每个片段转换为承载语义的数值向量（嵌入）。为了能快速查找，这些向量被存入向量数据库之类的索引中。在 Lewis 等人的 RAG 中，维基百科被预先构建成这样的“稠密向量索引”。

第二，问题输入后，检索器同样把问题转换为向量，然后在索引中找出与问题向量最接近的前 K 个文档。即使用词不完全相同，只要意思相近也能找到，这就是语义检索的优势。原论文使用了名为 DPR 的预训练神经检索器作为检索器。

第三，生成模型将原始问题和检索到的文档一起作为输入来生成答案。Lewis 等人在这里比较了两种方式。RAG-Sequence 依赖同一篇文档生成整个答案，而 RAG-Token 可以针对每个词（token）参考不同的文档，从而融合多篇文档的内容。此外，他们还对检索器和生成器进行联合微调，使两个组件相互适配。

如今实际使用的 RAG 大多将检索器和 LLM 分开，把文档粘贴到提示词中，但“准备 → 检索 → 结合文档生成”这一骨架是相同的。

发展脉络：从 REALM 到智能体式 RAG

REALM（2020年2月）从语言模型预训练阶段起就接入了知识检索器。它以填空（掩码语言建模）作为学习信号，把面向数百万篇文档的检索步骤也一并训练。论文称这是首次在没有标准答案的情况下（以无监督方式）预训练检索器，并在三个开放域问答基准上比已有方法的准确率高出4~16个百分点。

RAG（2020年5月）把这种混合记忆扩展到“生成句子”的生成模型。REALM只处理从文档中抽取答案的抽取式问答，RAG试图超越这一点。RAG在三项开放域问答任务上取得了当时的最佳性能；在生成任务中，它生成的句子比只用BART的模型更具体、更多样，也更符合事实。

Self-RAG（2023年）关注的是“何时检索”。无论是否需要都固定附上一定数量的文档，可能会因为无关文档而让答案变差。Self-RAG训练模型生成一种称为“反思令牌”（reflection token）的特殊token，让模型自行决定是否需要检索，并评估检索到的文档是否相关、自己的答案是否有文档支撑。论文报告称，7B和13B规模的模型在问答、推理和事实核查上优于ChatGPT和接入检索的Llama2-chat，引用准确率也有所提高。

同年，Gao等人的综述把这一脉络归纳为三个阶段：Naive RAG（简单检索后生成）、Advanced RAG（改进检索前后的环节）和Modular RAG（像组装部件一样构建）。2025年的Agentic RAG综述指出，固定的工作流程难以处理多步推理，并对由AI智能体通过规划、工具使用、反思和多智能体协作来动态管理检索策略的架构进行了分类。

最新方向：鲁棒性与可靠性

近期研究的一条主线是这样一个问题：“如果知识库不干净呢？”RAGStress（2026）指出，RAG评测通常假设知识库是干净的。它注入事实歪曲、数字笔误、相关性污染和矛盾注入四种污染，每种分三个强度进行测试。结果显示，在干净的检索环境下，系统之间的鲁棒性差异会被掩盖；改变语义本身的污染危害更大；不靠检索也能答对的模型，在受污染的检索下并不一定更稳健。

另一条主线是“做了检索也不能保证答案属实”的问题。保形事实性控制研究（2026）把答案拆成一条条主张，只保留能确认依据的主张，并将这种统计过滤器应用于多步检索（多跳）RAG。在95%的目标下，保留的主张全部有依据支撑的回答比例为95.80~97.20%，比不使用过滤器时（55.60~76.03%）大幅提高。但保留下来的主张只有4.41~31.09%，完全变成空答案的情况也很多。这意味着可信度与答案的信息量此消彼长。

实际搭建案例也趋向于叠加多种技术。一个面向约23万篇高能物理和天体粒子物理论文的开源RAG流水线（2026）先用同时结合关键词匹配和语义相似度的混合检索收集候选，再用重排序器重新排序，然后由LLM先判断相关性，最后撰写附带引用的报告。

局限与争议

第一，找到了合适的文档，并不保证模型能读好它。“Lost in the Middle”研究（2023）表明，相关信息位于输入开头或结尾时性能最好，位于长输入中间时性能明显下降。即使是主打长上下文窗口的模型也是如此。这说明仅靠多附文档解决不了问题。

第二，结果在很大程度上取决于检索质量和存储库质量。正如Self-RAG论文所指出的，混入无关文档可能让答案变差；正如RAGStress所展示的，存储库内容有误时，RAG会把错误内容当作依据。“用了外部文档所以可信”这一想法，只有在文档本身可信时才成立。

第三，做得越智能，成本越高。Self-RAG论文总结说，在生成过程中按需反复检索的已有方法往往牺牲了运行效率。Agentic RAG综述也把评测、智能体间协调、记忆管理、效率和治理列为尚待解决的课题。步骤越多，速度越慢，也越难追踪错误出在哪里。

延伸学习

如果是初学者，建议先读Lewis等人的“Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”（paper）。参数化记忆与非参数化记忆的框架，以及RAG-Sequence与RAG-Token的区别，是理解后续研究的基本词汇。同时阅读更早的REALM（paper），还可以对比“从预训练阶段就接入检索”这一不同的出发点。

想获得全景图，Gao等人的综述（paper）是不错的选择。了解Naive、Advanced、Modular RAG的划分后，实务资料中出现的各种技术归属何处就清楚了。接着用Self-RAG（paper）了解由模型判断“何时检索”的方式，再用Agentic RAG综述（paper）了解智能体式架构，脉络会比较自然。

如果打算搭建实际系统，“Lost in the Middle”（paper）和RAGStress（paper）非常值得一读。前者帮助把握文档应按什么顺序放入，后者帮助把握存储库被污染时该如何测试系统。