用合成数据训练：从 Self-Instruct 到模型崩溃之争

为什么需要：人工编写数据的局限

只完成预训练的 LLM 擅长预测下一个词，却不擅长按人的要求办事。因此要用“指令与参考答案”对再训练一遍，即指令微调（SFT，监督微调）。问题在于这些数据需要人工编写。Self-Instruct（paper）指出，人工编写的指令数据数量少，多样性和创造性不足，而且大多集中在常见的 NLP 任务上，限制了微调后模型的通用性。

难度也是问题。WizardLM（paper）认为，人工编写的指令偏向简单和中等难度，困难指令很少。其解释是，人工编写者容易疲劳，难以持续大量产出高难度指令。标注的成本和时间开销也是很大的负担。

由此产生的想法是“让模型也来生成数据”。人只提供少量种子，其余由 LLM 大量生成指令和答案。这样生成的数据称为合成数据。一项综述合成数据的研究（paper）将数据稀缺、隐私问题和高昂成本导致难以获得大规模、多样、高质量的数据，列为合成数据受到关注的原因。

核心思路：自己出练习册自己做的学生

打个比方。老师只给学生看几道例题。学生模仿这些例题，自己编出新题目和解答，把错误的或与已有题目几乎相同的丢掉。剩下的题目汇编成一本练习册，学生再用这本练习册学习。这相当于把学生已经具备、却用不出来的能力，以“题目形式”引导出来。

这个比喻也包含了风险。如果学生只用自己编的练习册学习，而这样学出来的学生又去编下一本练习册，如此反复会怎样？学生原本不熟悉的罕见题型会逐渐从练习册中消失，只剩下熟悉的题型。这就像复印件再复印，原件的细节越来越模糊。这就是后面要讨论的模型崩溃的直观理解。

归根结底，合成数据训练的核心问题有两个：一是“如何生成并过滤出好数据”，二是“合成数据不断累积时，如何不丢失原本世界的多样性”。

如何运作：生成 → 过滤 → 训练

Self-Instruct（paper）的管道是基本框架。首先用人工编写的 175 个任务（每个任务含 1 条指令和 1 个示例）填充“任务池”。接下来经过四个步骤。第一，从任务池中抽取若干任务作为提示词展示给语言模型，让它生成新指令。第二，判断新指令是否为分类任务。第三，生成与指令匹配的输入-输出示例。此时根据任务类型，分别采用先生成输入或先生成输出（正确标签）的方式。第四，用多条规则（启发式）过滤掉质量低或与已有指令过于相似的内容。

留下来的任务重新放回任务池，作为下一轮生成的示例。通过这种循环，数据像滚雪球一样增长，积累到足够数量后，就用这些数据微调最初用于生成的那个模型。论文将这一过程描述为几乎不需要标注的对齐方法。

后续方法对这一框架的各个步骤做了改动。在生成步骤中，有的把指令改得更难（Evol-Instruct），有的让模型生成教科书式的文本（phi-1）；在过滤步骤中，则加入更精细的选择标准。生成模型与被训练的模型也可以不同。例如，用更大模型生成的数据训练小模型，实际上就接近 Distillation（知识蒸馏）。

发展脉络：更多、更难、更像教科书

Self-Instruct（paper）从基础 GPT3 中获得了约 52K 条指令和约 82K 个输入输出示例。用这些数据微调 GPT3 后，在 Super-NaturalInstructions 基准上比原始模型提高了 33 个百分点（绝对值），达到与使用非公开用户数据和人工标注训练的 InstructGPT-001 相近的水平。在使用专家新写指令进行的人工评估中，与 InstructGPT-001 的差距也只有 5 个百分点。生成的任务与种子任务重叠较少，也偏离了典型的 NLP 任务分布，在一定程度上实现了“多样性”这一原始目标。

WizardLM（paper）的 Evol-Instruct 在多样性之外增加了“难度”这一维度。它让 LLM 改写一条指令：在深度方向上使用添加约束、深化、具体化、增加推理步骤、使输入复杂化五种操作；在广度方向上使用从给定指令生成全新指令的变异。进化失败的指令在剔除步骤中被过滤掉。以用 Self-Instruct 方式构建的 52K 条 Alpaca 数据为起点，借助 ChatGPT 进化四轮，得到 250K 条指令；为了与用 70K 条真实用户对话训练的 Vicuna 公平比较，从中抽取 70K 条训练了 LLaMA 13B。报告称，在 GPT-4 自动评估中，29 项技能中有 17 项达到 ChatGPT 能力的 90% 以上。

phi-1（paper）不仅把合成数据用于后训练，还把它放在训练数据的核心位置。它在从网络中筛选出的 6B token“教科书级”数据之上，加入用 GPT-3.5 生成的 1B token 合成教科书和练习题，用 8 张 A100 训练了 4 天，得到一个 1.3B 参数的代码模型。结果在 HumanEval 上 pass@1 达到 50.6%，在 MBPP 上达到 55.5%；以同样方式训练的 350M 模型（phi-1-small）在 HumanEval 上也达到 45%。这常被引用为数据的质量和形式可能比数量更重要的依据。

综述合成数据的研究（paper）汇总了这些成果，同时强调必须确保合成数据的事实性（factuality）、对原始数据的保真度（fidelity）和无偏性（unbiasedness），并且要负责任地使用。这项研究指出的条件得不到满足时会发生什么，正是下一场争论的主题。

模型崩溃之争：替换还是累积

模型崩溃之争始于 Curse of Recursion（paper）。该研究提出疑问：如果今后互联网上相当一部分文本由 LLM 撰写，下一代模型将靠什么成长？它主张，用模型生成的内容训练，会使原始数据分布的尾部，即罕见情况消失，而且这种缺陷不可逆。研究将这一现象命名为模型崩溃（Model Collapse），并展示了它在 VAE（变分自编码器）、高斯混合模型和 LLM 中都可能出现。因此得出结论：人类真实交互留下的数据，其价值今后会越来越大。

反驳从实验假设出发。Is Model Collapse Inevitable?（paper）指出，此前的研究大多假设“新数据替换旧数据”，但实际上认为数据会“累积”更符合现实。在对语言模型进行多代预训练后发现：如果每一代都用合成数据替换真实数据，确实会走向崩溃；但如果在原有真实数据旁持续累积各代的合成数据，则不会发生崩溃。这一结果在改变模型规模、结构和超参数后依然成立，在用于分子结构生成的扩散模型和用于图像的 VAE 中也类似。该研究还用简单的线性模型理论证明：替换数据时，测试误差随迭代次数增加而增大；累积数据时，则存在一个与迭代次数无关的有限上界。

一项近期研究（paper）指出这两个结论看似相互矛盾，并在扩散模型上考察了介于两者之间的现实条件：过去的数据和真实数据都保留，但由于训练预算固定，每个新模型只从不断增大的数据池中抽取固定数量的数据训练。这样一来，虽然没有删除任何数据，真实数据的比例却会逐渐趋近于 0。在 2D 螺旋数据以及 MNIST、Fashion-MNIST、CIFAR-10 实验中，替换方式像以往研究一样迅速崩坏，固定预算方式则只是部分崩坏。有些特征在两种方式下都在几代之内消失，而有些特征在固定预算方式下几乎可以无限期保留。这意味着崩溃并非全有或全无，而可能因特征而异。

最新动向：选什么

崩溃之争之后，实务中的问题与其说是“能不能用合成数据”，不如说是“该放入哪些合成数据、放多少”。TATC 研究（paper）的出发点是：合成数据多，并不总能让模型变好。有用的合成数据要补充目标任务所需的信息，同时不能引入抵消这部分收益的错误。此外，同一个示例的价值也会随训练集变大而变化。该研究用线性理论分析了合成数据有用的条件、应放入的数量，以及每增加一个示例的边际价值。在此基础上，提出了一种选择方法 TATC（Training-Aware Target Coverage）：在有助于目标任务的候选中，挑选能拓展现有数据尚未覆盖方向的示例。在数学推理任务中微调 Qwen2.5-Math-1.5B-Instruct 时，以 GSM8K 为准，它在多个选择预算下都优于其他选择方法。

数据组研究（paper）更进一步。它指出，当前的数据筛选通常分别估计每个样本的训练效用，但对合成数据来说这还不够，需要反映样本间相互作用的组级信号。组成不同的合成数据集，即使按单个样本标准无法区分，按组标准也可能差别很大；按组标准挑选时，尤其在生成能力上表现更好。随着训练管道中合成数据比重增加，在常用的数据筛选方法中，只有反映了组级信号的方法优于基线。

这两项研究指向同一个方向：把 Self-Instruct 用简单相似度启发式完成的“过滤”，提升为兼顾目标任务和数据整体构成的“选择”问题。如果说研究崩溃的工作关注的是真实数据的比例和保存方式，那么这一脉络关注的是在合成数据内部保留“哪种组合”。

局限与争议

第一，对评估方式的质疑。WizardLM（paper）报告的“达到 ChatGPT 能力的 90% 以上”是 GPT-4 自动评估的结果。由于是用 LLM 来给以 LLM 生成数据训练的模型打分，如果评估者偏好相似的文风或格式，模型能力就可能被高估。LLM-as-a-Judge 的结果应与人工评估或有标准答案的基准测试结合来看。

第二，崩溃研究的结论在很大程度上取决于实验条件。替换、累积、固定预算这几种条件中，哪一种更接近现实中的网页爬取或企业内部数据管道，要视具体情况而定。累积实验（paper）的乐观结果依赖于不丢弃真实数据这一前提，而固定预算实验（paper）表明，即使有这一前提，部分特征仍可能丢失。因此，“不会崩溃”和“必然崩溃”都难以作为普遍结论接受。

第三，是质量保证问题。正如梳理合成数据的研究（paper）所强调的，合成数据中可能混入事实错误和偏见。生成模型的幻觉一旦固化为训练数据，就可能传递给下一代模型。此外，像 phi-1（paper）这样小模型取得高分的案例，出现在代码这类范围较窄、答案可验证的领域，因此很难断言它在其他领域同样适用。

第四，是真实数据的价值反而上升这一悖论。正如 Curse of Recursion（paper）的结论所示，人类真实交互数据会越来越稀缺，在混有合成数据的互联网上甄别并保存“真实”数据，本身就成为数据治理的课题。

延伸阅读

如果是初学者，建议先读 Self-Instruct（paper）的第 2 章（方法）。种子任务、指令生成、输入优先/输出优先生成、过滤这四个步骤，是此后几乎所有合成指令数据研究的骨架。接着看 WizardLM（paper）的 Evol-Instruct 示意图，就能理解“加大难度”是通过怎样的提示词操作实现的。关于数据的质量和形式能在多大程度上弥补模型规模的不足，phi-1（paper）是代表性案例。

模型崩溃方面，应将 Curse of Recursion（paper）和 Is Model Collapse Inevitable?（paper）配对阅读。先确认两篇论文结论不同的原因在于数据是“替换”还是“累积”，再转到讨论固定预算条件的研究（paper），争论的全貌便一目了然。

若要应用到实际工作中，可以先通过全面梳理合成数据的研究（paper）把握整体图景，再阅读讨论选择方法的 TATC（paper）和分组整理研究（paper），建立决定“保留什么”的标准。