MindEval2：用基于临床的虚拟患者和评分细则评估心理健康咨询 LLM

问题

使用 AI 聊天机器人获取心理健康支持的人越来越多，但评估方法不足。现有基准中的虚拟患者过于配合、过于善于自我反思。LLM-as-a-judge 评分也依赖难以解释的李克特量表。此外，此前的评估没有涵盖与同一患者多次咨询的长期维度。

方法

由两个部分组成。① MHQR：与博士级心理学家合作，将咨询师回应的 14 种失败类型归入 6 个类别（强化扭曲、事实与语境忠实度、指导校准、边界、表达方式、其他）。每一轮都标注严重程度（无问题/Minor/Major/Critical，权重 0/1/5/10），取平均得到分数。其设计借鉴了机器翻译评估方法 MQM。② MindSim：用有临床依据的患者档案构建 LLM 患者。患者在每一轮先通过工具调用确定“行为（披露、回避、反驳等）”，然后再发言。各次咨询之间会更新最多 30 个条目的共享记忆，以再现多次咨询。

结果

• 在 3 名临床心理学家共同标注的 66 个轮次中，严重程度一致性（二次加权 κ）为 0.44。完全一致的比例约为 49%，但 97.5% 的差异在一级以内。
• 5 个 Judge 候选模型都完整再现了基于标注者综合标准的 3 个咨询模型排名（Kendall τb=1）。自助法排名稳定性方面，GPT-6.1 Sol 为 87%，GPT-6 Astra 为 89%，接近标注者自身的稳定性（90%）。
• GPT-6.1 Sol 的 severity macro F1 与最佳 Judge Claude Opus 5.5 相差不到 0.01，而每次查询成本约为其 1/10。Hy4-preview 和 DeepSeek-V4.1-Flash 发现的问题较少，被判定为不适合作为 Judge。
• 作者报告称，在 18 个模型的评估中，最新模型在强化扭曲和边界问题上有大幅改进。但缺乏具体指导、只反复提出探索性问题的指导校准问题在所有模型中依然存在，占据了质量差距的大部分。
• 在多次咨询中，利用前几次咨询内容的模型得分有所提高。不这样做的模型则倾向于重复询问患者已经说过的内容。

局限

严重程度权重（1/5/10）只是汇总规则，并未按实际临床危害比例校准。Judge 验证仅使用了 411 个轮次和 3 个咨询模型。排名比较也只有三对，范围较窄。标注者之间的严重程度一致性为中等水平，单个问题类型的一致性更低。评估仅限于日常、非危机咨询，并使用虚拟患者。所提供的正文在中途截断，未能确认 18 个模型的详细数据。

意义

心理健康聊天机器人是一个单条回应就可能对用户造成实际伤害的领域。该框架按轮次标注问题类型和严重程度，开发者可以具体了解需要修正什么。它还指出了一个方向：在共情和安全边界之外，还需要改进“何时给出具体指导”。

关键术语

LLM-as-a-judge

让 LLM 按照标准为其他模型的回答打分的评估方法。在本论文中，向其提供 MHQR 评分细则，让其为咨询师的每一轮标注问题和严重程度。

MQM(Multidimensional Quality Metrics)

机器翻译评估中按类型标注错误、并用严重程度权重计分的方法。它是 MHQR 的设计基础。

指导校准（Guidance Calibration）

在咨询中判断何时停止提问、给出具体下一步指导的能力。过度探索和指导不足是典型的失败类型。

患者模拟器（Patient Simulation）

让 LLM 按照档案扮演患者，与被评估模型进行多轮对话的方法。在难以使用真实咨询数据的心理健康领域，它被用作替代方案。

原文

• arXiv 摘要页
• PDF
• HTML 全文
• Hugging Face

作者: John Mendonça, Daniel Tschernutter, José Pombal, Areti Vassilopoulos, Catarina Botelho, Ignacio Sarasua, Maya D'Eon, Nuno Guerreiro, 等 · 发布 2026-10-15 · 许可 CC BY-NC-SA 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。