机器遗忘
机器遗忘是一种技术，旨在从已训练好的 AI 模型中消除特定数据（个人信息、受版权保护的作品、危险知识等）的影响，使模型如同从一开始就没有用这些数据训练过一样。
通俗解释 这就像蛋糕烤好之后，想只把其中一勺糖取出来。去掉这份原料从头重新烤最稳妥，但代价太高，所以要另找办法，尽量把味道还原到原本的样子。
工作原理
最可靠的方法是用去掉待删除数据后的剩余数据从头重新训练模型，但对于巨型模型来说，成本和时间都太高。因此有一种设计方式：把训练数据分成多个分片，按分片分别训练模型，收到删除请求时只重新训练相应的分片。对于已经训练好的 LLM，主要采用近似方法。具体做法是：对待删除的数据朝相反方向少量训练，使模型反而答错；同时对要保留的数据一起微调，以维持性能。直接找到并修改模型内部特定表示的方法也在研究之中。
遗忘方法的可靠性与成本
← 可靠但昂贵便宜但不确定 →
1234
- 全面重新训练
- 分片重新训练设计
- 反方向微调
- 直接修改表示
为什么重要
个人信息保护法规中有要求删除本人信息的权利，但即使从数据库中删除，用这些数据训练的模型里仍可能留有痕迹。在版权纠纷中需要去除特定作品的影响时，或想从模型中削减危险知识（如武器制造方法）时，也需要这项技术。发现被污染或标注错误的数据时，它也可以作为无需全面重新训练就能修正的手段。
注意事项
近似方法很难确认数据是否“真的被删除”。已有报告指出，只要稍微改变提问方式或进行少量微调，被删除的知识就会恢复。删除过程中连无关能力也一起下降的副作用也很常见。评估时会综合考察与重新训练的模型有多相似、通过成员推断攻击检查数据痕迹是否仍有残留等。因此，与其只依赖遗忘技术，从一开始就过滤敏感数据仍然是基本做法。
示例
假设一家企业用客户咨询记录微调了内部聊天机器人模型，而一位客户请求删除自己的信息。公司会从原始数据中删除该记录，并对模型应用遗忘技术，确认询问该客户的姓名或咨询内容时模型无法回答。同时用评估集检查一般咨询质量是否下降。