论文解读 · 2026年10月13日

从基于给定证据到自主收集证据：面向纵向医学推理的智能体训练

From Given to Gathered Evidence: Agentic Learning for Longitudinal Medical Reasoning

通过 SFT 和智能体强化学习，训练能在患者记录和各时间点 MRI 中自主寻找证据的临床智能体。基于 Qwen3-VL-8B 的模型在回答准确率上相对 GPT-5.4 领先 16% 以上。

问题

现有医学基准只评估在预先选定的证据上进行的推理。在真实临床中，需要自行决定查看多次就诊时间点的记录和影像中的哪些内容来收集证据，但用于评估和训练这种能力的环境一直不足。

方法

基于 UK Biobank，用 4,739 名参与者的 ICD-10 诊断构建了 50,401 道多项选择临床问题，形成纵向多模态基准。每道问题都连接到一个患者专属环境，其中包含临床背景以及基线和随访就诊的多序列 MRI（5 个器官部位）。智能体自行选择就诊时间点、器官、模态、切片和专业工具（Vista3D 测量、MedGemma 报告）。Radiologist、Anatomist、Consultant 三个角色由同一个策略模型实现。首先对教师模型（前沿模型）的轨迹进行质量过滤，再对 Qwen3-VL-8B-Instruct 进行 rejection-sampling SFT。随后通过自我交互进行基于 GRPO 的智能体强化学习。此时，在结果奖励之外，还加入了 On-policy 自蒸馏（OPSD）——以与知道正确答案的 privileged 视角之间的差异作为惩罚——以及外部 LLM 评审基于评分标准的反馈。

结果

作者报告，在相同评估条件下，基于 Qwen3-VL-8B 的 CASE 智能体的回答准确率相对 GPT-5.4 高出 16% 以上，相对 Claude Opus 4.8 高出 10% 以上。
该基准由 50,401 道问题（其中 455 名参与者的 4,850 道问题单独留作评估）、7 个临床类别和 10 个任务/格式层级组成。
作者报告，OPSD 减少了强化学习中后期出现的反复推迟得出结论的现象。他们还表示，通过受控的消融实验分离了各组成部分的贡献。

局限

数据仅来自 UK Biobank 单一队列，正确标签来自 ICD-10 诊断记录。题目形式为多项选择。强化学习过程中的工具输出采用回放预先计算结果的方式。用于筛选 SFT 数据的评审只看文本，因此无法验证视觉所见的合理性。在正文摘录范围内，无法确认各层级的详细准确率和消融实验数值。

意义

将医学 AI 评估从“基于给定证据作答”推进到“寻找所需证据后作答”。它表明小型开放模型也能通过交互式训练超越前沿模型，对开发适合临床现场的轻量级智能体具有启示意义。

关键术语

纵向（Longitudinal）推理: 一种推理方式：比较同一患者多个时间点的记录和影像，以随时间发生的变化为依据作出判断。
GRPO: 一种强化学习算法：对同一提示词采样多条轨迹，并根据相对于组平均值的相对奖励更新策略。
Privileged On-policy 自蒸馏（OPSD）: 一种技术：以同时看到正确答案信息的同一模型的输出分布为参照，将策略自行生成的轨迹在得出结论方面的质量反映到奖励中。
RLAIF（基于评分标准的 LLM 反馈）: 由外部 LLM 评审代替人类，按照评分标准为推理质量打分，并将该分数用作强化学习奖励的方式。

原文

作者: Minye Shao, Chaohui Yu, Yixuan Wu, Fan Wang, Ling Shao, Yang Long · 发布 2026-09-30 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。