MASS（多智能体自监督）：智能体之间互相教学的方法

为何需要：人工标注的成本与自我评分的局限

要让 AI 模型变得更好，需要“这个答案好、那个答案差”这样的信号。传统方法是由人标注正确答案的数据标注，或收集人类偏好进行学习的 RLHF（基于人类反馈的强化学习）。但任务越长、越专业（多步骤的智能体任务、代码、3D 设计等），人工逐一检查的成本增长得越快。

另一种做法是让模型自己给答案打分。然而，当一个模型重新阅读自己的答案时，生成时遗漏的部分在评分时也容易遗漏，因为这相当于用同样的知识、同样的习惯看两遍。附和用户说法的谄媚（Sycophancy）也可能出现在自我评估中。

MASS（多智能体自监督）就是在这两个问题之间产生的思路。由 AI 代替人产生监督信号，但不是由一个而是由多个角色不同的智能体相互监督，以减少自我评分的盲点。

需要说明的是，本次收集的输入资料中没有名为“MASS”的 AI 方法论论文。资料大多是讨论“mass（质量）”的天体物理和理论物理论文，因此未作为依据。下面的概念说明停留在一般原理层面，涉及具体论文的数字或观点仅取自两篇相关的近期研究。

核心思想：像编辑部一样分工

用报社编辑部来比喻会更容易理解。记者写稿，编辑指出逻辑问题和遗漏之处，校对人员核实事实和用字。比起记者独自修改自己的稿子，由多位视角不同的人来看，错误更容易被发现。但事实核查最终仍要与外部资料（统计原始数据、消息来源）对照才能完成。

MASS 也是同样的结构。设置生成答案的生成智能体、寻找答案弱点的评审智能体，并尽可能设置用模型外部基准（代码执行结果、物理模拟器、规则检查器）进行确认的验证环节。通过这一过程的结果和评审记录，成为下一轮训练的材料，也就是“自监督”信号。

这里的“自监督”是指不由人标注，而在系统内部产生学习信号，并不意味着把人排除在外。人的角色从逐个评分转变为制定标准和抽样检查。

工作原理

一般的 MASS 流程可以看作五个步骤。第一，确定任务。可以是一道题，也可以是智能体要执行的多步骤工作。第二，生成智能体产生答案或行动记录（Trajectory）。有时会针对同一任务抽取多个结果作为比较材料。

第三，评审智能体阅读结果，指出错误之处、遗漏的条件和缺乏依据的说法。这些意见可以返回给生成智能体，用于生成修改版。可以把它看作将 LLM-as-a-Judge（LLM 评估者）拆分成多个角色的形式。第四，如果有外部验证器，就实际运行结果。代码会执行测试，3D 物体会放进物理模拟器，检查是否倾倒或发生碰撞。

第五，汇总多个智能体的判定和验证结果，只挑选通过的结果，或把好答案与差答案配对，保存为训练数据。用这些数据通过 SFT（监督微调）或 DPO（直接偏好优化）等方法重新训练模型，改进后的模型再次成为生成智能体。这样循环往复，像数据飞轮一样不断积累。

发展脉络：三条思路的交汇

由于输入资料中没有作为 MASS 起点的 AI 论文，这里不描绘具体论文之间的谱系，只从概念上整理哪些思路在此交汇。

第一条思路是自监督学习这一由来已久的想法。它从数据本身提取充当正确答案的信号，是无需人工标注就能进行大规模预训练的基本原理。第二条思路是由 LLM 评估其他 LLM 输出的 LLM-as-a-Judge。它模仿人工评估以降低成本，但评估者自身的偏差一直被视为问题。第三条思路是多个智能体分工协作的多智能体系统。

MASS 把这三者结合起来。它将自监督的“无标注产生信号”、LLM 评估者的“模型给模型打分”和多智能体的“角色分工”合并，不把评估交给单一模型，而是分配给不同角色。

近期走向：加入外部基准

近期研究中一个明显的方向是，不只依赖智能体之间的判断，而是把模型外部的验证信号纳入循环。Artisan（paper）是一项生成带有活动关节的 3D 物体的研究，它扩展了已有方法 Articraft，提出了接收物理仿真反馈的多智能体流水线。它不仅追求外观相似，还检查物体运动时是否发生碰撞、在重力作用下能否立住、质量和材质属性是否正确。

该研究还构建了评估用的基准。它由来自 ArtVIP 和 LightWheel 的 100 个参考资产、50 个稳定性提示词、50 个带参考质量的 ABO 物体组成。在与 10 多个代表性模型的比较中，研究报告称 Artisan 在所比较的方法中碰撞率最低、稳定性最高。当模拟器指出“这个物体会倒”时，就能防止智能体之间以“看起来没问题”为由放行。

另一个方向是把人的判断作为基准点。漫画研究框架 PAGE（paper）让视觉-语言模型（VLM）按照人编写的编码手册（分类指南）为每一页添加标注，并将其中一部分判读样本与人工标注进行对照。该框架应用于 3,929 本美国漫画书和 87 本日本漫画。它虽不是多智能体研究，但由人抽样检查 AI 大规模生成的判读这一结构，可以直接用于 MASS 的运营。

局限与争议

最大的风险是“同一双眼睛”。如果生成、评审和验证智能体都来自同一个基础模型，那么只是角色名称不同，知识盲区和偏差却是相同的。这样一来，它们与其找出彼此的错误，不如说可能会一起判定为正确。这正是要混用不同模型或设置外部验证器的原因。

第二是奖励破解（Reward hacking）。如果生成智能体不是真正给出好答案，而是学会了评审智能体偏好的格式或语气，分数会上升，质量却没有变化。第三是模型崩溃（Model Collapse）。用模型生成的数据反复训练模型，可能导致多样性下降、遗忘罕见案例，因此需要混入人类数据或外部信号。

第四是成本和评估的可靠性。运行多个智能体会使推理成本成倍增加；如果训练所用任务与评估集重叠，数据污染会导致性能被高估。归根结底，即使人不给每个答案评分，也要承担制定标准、抽样检查、发现异常模式的最终责任。

延伸学习

在输入资料中，建议先读 Artisan（paper）。看看在多智能体流水线上接入物理仿真这一外部验证器后能衡量什么，以及基准如何划分为空间保真度、物理合理性、下游任务性能和整体质量四个方面，就能对“验证信号设计”有所体会。

接下来阅读 PAGE（paper）中将 VLM 判读与人工标注对照的部分，可以获得关于如何让 AI 生成的大量标注变得可信的实用启示。

在概念方面，结合本站的 LLM-as-a-Judge、多智能体、合成数据、模型崩溃、奖励破解等条目一起阅读，就能把 MASS 的优势来源和容易失效之处联系起来理解。