医疗 AI：从影像判读到临床 LLM

医疗为什么需要 AI

在医疗领域，一个判断会直接影响患者的身体。以通过胸部 X 光发现肺炎为例。CheXNet 论文（paper）引用美国疾病控制与预防中心（CDC）的统计称，仅在美国，每年就有超过 100 万成年人因肺炎住院，约 5 万人死亡。胸部 X 光是诊断肺炎的最佳可用手段，但最终需要放射科医生才能判读，这正是该论文的问题出发点。

判读本身也不容易。据同一篇论文，肺炎在 X 光上显影模糊，可能与其他疾病重叠，或者看起来与无害的异常表现相似，因此即使是专科医生之间，判断也常有很大分歧。论文还提到，对于难以找到影像专科医生的地区的患者，自动判读可能有所帮助，这也是研究动机之一。

语言方面的问题性质不同。一项关于临床知识 LLM 的研究（paper）指出，此前的医疗 AI 都是只做分类、回归、分割等单一任务的系统，与以对话问答为主的实际诊疗流程并不契合。由此产生了一种期待：可以把 LLM（大语言模型）用于知识检索、临床决策支持、关键发现摘要和患者初步分诊（triage）。同一篇论文也把编造看似可信的医疗错误信息的幻觉（Hallucination），以及可能加剧健康差距的偏见列为风险。

核心思路：判读者与咨询者，以及考试与诊疗

把医疗 AI 大致分成两类来看会比较容易理解。第一类是影像判读模型。它接收一张图像，回答一个既定的问题，比如“这张图像中存在肺炎的概率”。范围窄，但在这个范围内钻得很深。第二类是临床 LLM，更像是接收文字提问、用文字作答的咨询者。它能处理的范围宽，但更难预先知道会在哪里出错。

两类都绕不开同一个问题：“考试考得好，看病就一定看得好吗？”这就像驾照笔试满分并不能保证实际道路驾驶能力。考题有确定的标准答案，信息也给得干净整齐。而在实际诊疗中，会出现信息缺失、混入无关内容，或者医生直接照单全收 AI 答案的情况。

因此，这个领域的发展可以从两个维度来看：一是模型解题的能力有多强，二是用来判断能否把这个分数当作实际诊疗表现来信任的评估方法和监管。本文依次讨论这两个维度。

如何运作

CheXNet（paper）是一个121层的卷积神经网络（CNN，一种逐层读取图像局部模式的神经网络）。将正位胸部X光片缩小到224×224后输入，它会输出肺炎概率，同时给出一张用颜色标出判断依据区域的热力图。它从在通用照片数据集ImageNet上预训练的权重出发，用来自30,805名患者、共112,120张图像的ChestX-ray14数据进行训练。该数据集的疾病标签是从影像判读报告中自动提取的。

这一过程中有两处值得注意的设计。一是为了处理肺炎病例在整体中占比很少的类别不平衡（Class Imbalance）问题，按阳性与阴性的比例给误差赋予不同权重。二是在划分训练集、验证集和测试集时，确保同一患者不会同时出现在两个集合中。因为如果同一患者的图像同时进入训练和测试，分数会比实际更好。

临床LLM的做法不同。临床知识研究（paper）使用的是Flan-PaLM，即在5400亿参数模型PaLM的基础上加入指令遵循训练的模型。研究将展示几个示例的few-shot、让模型逐步思考的CoT（Chain-of-Thought），以及让模型多次作答后选出出现最多的答案的self-consistency结合起来，用于解答选择题。随后又应用以少量示例适配医疗领域的指令提示微调（instruction prompt tuning），构建了Med-PaLM。后续的Med-PaLM 2（paper）把基础模型换成PaLM 2，并加入了医疗领域微调，以及汇总多个答案加以完善的集成精炼（ensemble refinement）提示。

在这两种情况下，模型的输出都是医护人员做判断时参考的信息。下文监管部分将讨论的GMLP原则文件（w1）也强调，应关注人机团队的表现，而不是模型单独的表现。

发展脉络：从判读分数到临床医生小组评估

CheXNet（paper）在由4名在职放射科专科医生判读的420张图像测试集上取得了0.435的F1分数，专科医生的平均值为0.387。F1分数是同时反映漏诊患者和误判患者的指标。将同一模型扩展到14种胸部疾病时，它也超过了当时已发表的所有最佳结果。不过，这一比较只是在一个数据集的420张图像上、用F1这一个指标测得的结果。

临床知识研究（paper）拓宽了评估方式。研究整合了涵盖医师资格考试、医学研究和普通人提问的基准测试（Benchmark）MultiMedQA，并提出了一个由人类从事实性、精确性、潜在危害、偏见等多个维度评估答案的框架。Flan-PaLM在美国医师执照考试（USMLE）式题目MedQA上取得67.6%，比此前最高纪录高出17%以上。但临床医生小组评估长回答后发现，与科学共识一致的回答只有61.9%。Med-PaLM的这一比例为92.6%，与临床医生的回答（92.9%）相近；可能导致有害后果的回答比例也从Flan-PaLM的29.7%降至Med-PaLM的5.8%，与临床医生（6.5%）相近。尽管如此，作者仍得出结论：Med-PaLM依然不及临床医生。

GPT-4医疗评估（paper）报告称，未经医疗专门训练的通用模型在不使用特殊提示的情况下，也比USMLE及格线高出20分以上。该研究还测量了模型对自身答案正确可能性的估计有多准确（校准，calibration），结果GPT-4的校准明显好于GPT-3.5。在医疗这类高风险领域，这是一项重要特性。研究还一并调查了模型在训练中记住考试内容的可能性。

Med-PaLM 2（paper）在MedQA上最高取得86.5%。针对1066个普通人医疗问题，医生将两份回答并排比较时，在与临床实用性相关的9个维度中，有8个维度更偏好Med-PaLM 2的回答，而非医生撰写的回答。在专门用来试探模型局限的240个“对抗性”问题上，它在所有评估维度上也都优于Med-PaLM。即便如此，作者仍明确写道，要确认其在真实诊疗环境中的效果，还需要进一步研究。

最新动向：寻找试卷之外的失败

近期研究的重心正从进一步提高分数，转向测量真实诊疗条件下出现的失败。偶发信息脆弱性研究（paper）考察了自动记录诊疗对话的环境式记录场景。在576段医患对话中，最新模型把与诊疗无关的闲聊写进了35%的记录。在3.7%的记录中，模型把这些闲聊错误地归到别人名下，或当作临床信息使用。在57段录音模拟诊疗中，其他患者诊疗的背景语音混入了48.2%的转录文本，4个开放权重模型生成的后续记录中有5.3%确认受到这种污染。研究人员建议，在临床使用前应评估模型对这类偶发信息的抵抗能力。

MedicalHarness（paper）指出，医疗智能体的分数并非来自单个模型，而是“模型与Harness（控制模型与环境之间循环回路的系统）组合”的结果。在4个领域的107项任务中，用5种Harness运行5个开放权重模型后发现，Harness以及Harness与模型的交互解释了约四分之一的结果差异。没有哪一种Harness在所有模型和任务上都是最好的。这意味着，即使是同一个模型，放进什么样的框架也会改变基准测试分数。

“决定·提问·转交”研究（paper）考察了信息不足时模型如何行动。研究将行为分为立即诊断（DECIDE）、进一步询问信息（ASK）和转交给医护人员（DEFER）分别评估。让Qwen、Gemini和GPT面对相同的200个临床信息状态，结果在200个状态中有137个状态下各模型选择的行动不同。设置三种选项的方式阻止了一部分错误的自主判断，但也同时去掉了一部分本来正确的判断。研究人员如实报告：这并不是一种在所有方面都更好的策略。

监管与治理：GMLP十项原则与WHO建议

美国FDA、加拿大卫生部（Health Canada）和英国药品和保健品管理局（MHRA）共同整理了适用于使用机器学习的医疗器械开发的良好机器学习规范（GMLP）十项原则（w1）。先看与数据相关的原则：临床试验参与者和数据集应在年龄、性别、种族、民族等方面代表目标患者群体（原则3）；训练数据与测试数据应考虑患者、数据采集方式、机构等所有依赖因素，彼此独立（原则4）；参考标准（reference standard）应以最佳可用方法建立，并理解其局限（原则5）。

也有关于评估与运营的原则。该文件指出，如果是由人参与判断的结构，即人在回路（Human-in-the-Loop），应关注人机团队的表现，而不是模型单独的表现（原则7），并应在与真实诊疗相关的条件下和重要的亚组中进行测试（原则8）。应以易于理解的方式向用户说明使用目的、各亚组的表现、训练数据的特性和已知局限（原则9）。已部署的模型应监测实际使用中的表现，并在重新训练时管理过拟合（Overfitting）、非预期偏见、数据漂移（Data Drift）等性能下降风险（原则10）。

WHO于2024年1月18日发布了关于医疗用大型多模态模型（LMM）的伦理与治理指南（w2）。该指南面向政府、科技企业和医疗服务提供者，包含40多项建议。它列出了五个应用领域：诊断与临床诊疗、患者自行使用的症状查询、电子健康记录摘要等行政工作、医学与护理教育，以及研究与新药开发。指南建议政府指定负责评估和批准医疗用LMM的监管机构，并在大规模部署时强制要求独立第三方进行事后审计和影响评估。审计结果应予公开，并按年龄、种族、残疾等用户类型分别报告。对开发者，指南建议从开发初期就让医护人员和患者参与，并将模型设计为能以所需的准确性和可靠性完成定义明确的任务。

局限与争议：偏见、责任与患者安全

第一个争议是偏见。WHO指南（w2）警告，LMM可能使用在种族、民族、血统、性别、性别认同、年龄方面存在偏见或质量较低的数据进行训练。GMLP原则（w1）要求使用具有代表性的数据并公开各亚组表现，原因也在于此。即使模型平均分数很高，在特定患者群体中的表现也可能较差。参考标准本身也有局限。CheXNet（paper）所用的ChestX-ray14标签是从判读报告中自动提取的，这与要求理解参考标准局限的GMLP原则5相呼应。

第二个是责任与自动化偏见。WHO（w2）将“自动化偏见”列为风险，即医护人员和患者过度信任LMM，漏掉平时本能发现的错误，或不恰当地把困难决策交给模型。无论考试分数多高，诊断和治疗的最终判断及其责任都在医护人员。GMLP原则7要求关注人机团队的表现，“决定·提问·转交”研究（paper）单独评估转交给医护人员的选项，也是出于同样的考虑。

第三个是过度解读分数的问题。MedQA 86.5%或“比医生更受偏好的回答”都是在既定问题和评估条件下得出的结果，不应将其解读为真实诊疗中的表现。Med-PaLM 2（paper）的作者也写道，要确认其在真实诊疗中的效果还需要进一步研究。正如偶发信息研究（paper）和MedicalHarness（paper）所展示的，仅仅是诊室里的噪声或系统配置不同，结果就会改变。

第四个是安全与隐私。WHO（w2）指出，LMM容易受到网络安全风险的影响，患者信息和算法的可信度可能因此受到威胁。GMLP原则2也将保障数据真实性和完整性的安全实践列为基本要求。

延伸学习

如果想了解影像判读模型是如何构建和评估的，建议从CheXNet（paper）读起。这篇论文虽短，但数据构成、按患者划分、类别不平衡处理以及与专科医生的比较都集中在一起。看表1中的置信区间，也能体会到420张图像规模比较的不确定性。

关于临床LLM，建议先读临床知识研究（paper）。它最清楚地展示了选择题分数与临床医生小组评估如何呈现出不同的图景。接着读Med-PaLM 2（paper）和GPT-4医疗评估（paper），比较分数提升、校准和记忆可能性等问题即可。

如果需要实务和监管视角，可以把GMLP十项原则（w1）当作检查清单来读，再通过WHO的发布（w2）确认对政府和开发者的建议。对于近期的评估动向，按偶发信息研究（paper）、MedicalHarness（paper）、“决定·提问·转交”研究（paper）的顺序阅读，就能大致理解如何测量“试卷之外的失败”。