模型崩溃
模型崩溃是指在反复用 AI 生成的数据训练下一代 AI 的过程中，模型逐渐忘记现实世界原本的多样面貌，输出变得单调或离谱的现象。
通俗解释 这就像复印件再复印、复印件的复印件再复印，字迹越来越模糊，最后只剩污渍。不同之处在于，AI 中变模糊的不是画质，而是“罕见但重要的案例”。
工作原理
生成模型对训练数据中常见的模式学得更好，对罕见的模式学得较少。这样得到的模型，其输出中常见的表达更多，罕见的表达更少。再把这些输出用作训练数据，罕见案例就会进一步减少，而该模型的错误也会原样传给下一代模型。这个过程重复多代之后，数据分布的“尾部”就会消失，输出向一侧收窄，严重时甚至会产生毫无意义的输出。
模型崩溃不断累积的循环
代数越多，多样性越低
- 1模型训练
- 2数据生成
- 3用生成内容重新训练
- 4分布变窄
- 1. 模型训练 常见模式学得更好
- 2. 数据生成 罕见案例出现得更少
- 3. 用生成内容重新训练 错误也被原样继承
- 4. 分布变窄 尾部消失
为什么重要
互联网上由 AI 生成的文字和图像正在快速增加，今后从网络收集的训练数据中，AI 生成而非人类创作的内容会越来越多。如果不加甄别就用于训练，可能会在无意中引发模型崩溃。因此，由人直接创作的原始数据价值上升，记录数据来源也变得更加重要。在如今大量使用合成数据的训练方式中，这也是始终需要权衡的风险。
注意事项
使用合成数据并不一定会导致崩溃。一般认为，将其与真实数据混合使用、经过质量检查和过滤，或者不丢弃原始数据而持续一起使用，都能大幅降低风险。问题在于未经验证、仅用 AI 输出一代代训练时，风险才会增大。也就是说，关键不是“禁止合成数据”，而是“如何混合、如何过滤”。
示例
AI 公司在训练下一代模型时，会从网络收集的文档中过滤掉疑似 AI 写的文本，或让人类撰写的原始数据保持一定比例，这是防止模型崩溃的典型实务做法。在用合成数据批量生成数学题或代码时，也会只保留通过答案验证的样本，以此管理质量。