论文解读 · 2026年10月22日

用合成数据训练何时也能在真实数据上奏效：理论保证

When Does Training on Synthetic Data Provably Work?

根据合成分布与真实分布之间的关系证明了二分类器的迁移误差界，并通过理论和实验表明，存在在合成数据上几乎完美、在真实数据上却几乎全错的分类器。

问题

由于高质量训练数据不足，使用生成模型产生的合成数据的情况越来越多。但对于用合成数据训练的分类器何时也能在真实分布上表现良好，目前缺乏理论保证。

方法

假设两个分布中标签的条件分布相同。第一，在真实输入分布相对于合成分布的密度比受控的情况下，推导出有限样本超额误差界。第二，分析了真实分布中存在合成数据无法覆盖区域（部分奇异、完全奇异）的情况。第三，对于假设和对数几率均为 Lipschitz 的函数类，用真实样本不在合成数据附近的概率重新得到误差界。通过低维受控实验，以及用 4 个生成模型生成的 32,200 张 ImageNet 对应图像进行了验证。

结果

作者报告称，他们证明了当假设类表达能力足够强时，即使 Wasserstein 距离任意接近，仅凭合成风险也无法控制真实误差。
在 Lipschitz 条件下，即使在完全奇异的情况下也恢复了迁移保证。
对抗性构造的分类器在合成域的误差为 0.5%，在真实域的误差为 99.25%。
在常规训练的各种架构中，合成测试误差与真实测试误差呈正相关。

局限

这是基于摘要的分析。结果建立在二分类、合成与真实分布间条件标签分布相同、Lipschitz 等假设之上，实验仅限于低维受控设置和一个基于 ImageNet 的图像设置。实际性能数值等详细实验条件需查看正文确认。

意义

在对合成数据依赖日益加深的背景下，本文从理论上指出，仅凭合成数据上的验证性能无法保证真实性能。作者建议合成数据要用得足够多，而验证必须使用真实数据。

关键术语

绝对连续（Absolute continuity）: 指真实分布中可能发生的事件在合成分布中也都可能发生的关系。此时可以借助两个分布的密度比来转换并计算误差。
奇异（Singular）分布: 指部分真实数据落在合成数据完全未覆盖的区域的情况，在这些区域内合成数据不提供任何信息。
Wasserstein 距离: 以把一个分布搬运成另一个分布所需的最小“搬运成本”来衡量两个分布差异的度量。

原文

作者: Leroy Odunlami, Tobias Riedlinger, Hanno Gottschalk · 发布 2026-10-20 · 许可 arXiv 비독점 배포 라이선스 · 基于摘要分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。