合成数据
合成数据不是由人实际创建或收集的数据，而是由 AI 模型或程序人工生成的数据。主要用于训练或评估 AI 模型。
通俗解释 这类似于不在真实道路上练车，而是在模拟器上练习。危险或罕见的情况都可以随意制造出来练习，但如果模拟器与现实不同，也可能养成奇怪的习惯，这一局限也是一样的。
工作原理
最常见的方式是给性能好的 LLM 提供示例和指令，让它大量生成问答对、对话、解题过程等数据。用大模型（教师模型）生成的数据训练小模型（学生模型），也是蒸馏的一种形式。生成的数据不会直接使用，而是用其他模型或规则检查质量，过滤掉错误或重复的内容。在数学、编程等可以自动验证答案的领域，常用的做法是只保留答案正确的数据。在图像、语音、机器人领域，也会用图形引擎或模拟器来生成数据。
为什么重要
互联网上的高质量文本是有限的，要把模型做得更大、教得更好，就需要新的数据来源。由人直接创建数据并标注答案需要大量成本和时间，而合成数据可以更便宜、更快速地生成。还可以有意补充现实中难以获得的罕见案例，或特定语言、特定领域的数据。用具有相似特征的虚拟数据代替含有个人信息的真实数据，也能降低侵犯隐私的风险。
注意事项
合成数据可能原样继承生成它的模型的错误和偏见。有人担心，如果反复只用模型生成的数据进行训练，多样性会降低、质量会下降，因此常与真实数据混合使用。所以，过滤得好不好比生成得多不多更重要。此外，一些 AI 服务在使用条款中禁止用其模型的输出训练竞争模型，因此还需要确认生成数据的模型的使用条件。
示例
开发小语言模型（SLM）的公司常常让大模型大量撰写教科书式的说明文或包含分步解答的题目，经过筛选后用作小模型的训练数据。在自动驾驶和人形机器人开发中，会在模拟器里生成各种天气、光照和物体摆放来扩充训练数据，并与把这样学到的能力迁移到真实环境的 Sim-to-Real 方法结合使用。