← 专题深读

专题深读 · 2026-11-21 · 进阶 · 作者 bombong

AI 科学家智能体:能预测湿实验结果吗

AI 科学家是负责提出假设、设计并执行实验的智能体,但其预测真实实验室结果的能力仍然较弱。本文梳理这一差距产生的原因,以及如何通过基于实验记录的孪生环境、批评智能体和统计检验等设计来缩小这一差距。

目录
要点
  • 已有诊断认为,AI 科学家的瓶颈不在于想法,而在于实际执行验证的能力(implementation gap)。
  • LLM 的训练数据缺少实验室中的隐性流程和失败经验,因此仅凭文字学习很难准确预测湿实验结果。
  • 因此,一种设计思路正在形成:不把预测当作一次性的答案,而是把它作为“预测→实验→偏差→修正”闭环中的一个部件。
  • 即使在以真实实验记录评判的 TwinLab-Bench 中,前沿模型也表现吃力;而只追踪模型之间意见分歧之处的探索策略,会遗漏未被测量的现象。
  • 在实际工作中,不应把 AI 的预测作为省略实验的依据,而应将其用作缩小候选范围、诊断失败的工具,并由人做出最终判断。

为什么“湿实验预测”是试金石

AI 科学家(AI Scientist)是以 LLM(大语言模型)为核心、试图承担从提出想法到实现实验、撰写论文的整个研究流程的智能体系统。随着 AI 撰写的研究报告被 ICLR 2025 研讨会和 ACL 2025 接收,人们的期待随之升高。然而,实现差距研究(paper)系统评估了五个 AI 科学家系统生成的 28 篇论文后得出结论:根本瓶颈在于“实际执行必要验证流程的能力”。这一差距被称为 implementation gap。

湿实验(wet lab)是直接处理试剂、细胞和样本的实验。与代码实验不同,每运行一次都要花费时间和金钱,结果还会随设备状态和环境变化而波动。因此,“AI 能否提前预测湿实验结果”就成了判断 AI 科学家在计算世界之外是否有用的问题。

立场论文《智能体式 AI 科学家并非为自主发现而构建》(paper)也从测量方式的角度指出了这一问题。它指出,大多数科学基准只测量一问一答式的预测准确率,没有包含物理实验结果回流到计算模型的反馈。归根结底,要真正衡量“预测能力是否强”,需要与真实实验相连接的评估环境。

核心思想:只读过菜谱的厨师

同一篇立场论文(paper)指出,作为 AI 科学家基础的 LLM 所学习的文本中,缺少实验室现场的隐性流程知识和失败知识。这就像一位读过几千本菜谱、却从未亲手掌过火的厨师。他能把菜谱讲得头头是道,但“这口锅边缘先糊”“潮湿的日子面团会摊开”这类现场经验很少被写成文字。失败的实验几乎不会发表成论文,也是同样的问题。

这篇论文还指出,后训练阶段的偏好优化会把输出的多样性收窄到“共识答案”一侧。在实验结果预测中,这一点很危险,因为新现象通常出现在偏离既有共识的地方。

于是,设计的重心发生了变化。不再期待模型一开始就答对,而是把预测作为闭环中的一个部件:先预测,再通过实验(或替代实验的环境)确认,在出现偏差的地方修正信念。代价是需要投入实验成本和时间,还会产生何时停止循环这一新问题。

如何运作:闭环与实验替代环境

综合近期系统来看,循环大致按以下顺序运行。① 假设生成:从文献或先前结果中提出待验证的假设。② 实验设计:确定在什么条件下测量什么。③ 执行:使用真实设备,或在由仿真或实验记录构建的替代环境中运行。④ 结果判读:读取测量值并与假设比较。⑤ 批评与检验:由其他智能体提出反例或进行统计检验。⑥ 信念更新:记录已经弄清了什么、还有什么未知,然后进入下一个假设。

在 ③ 中使用什么,决定了如何衡量“湿实验预测”能力。使用真实设备最可靠,但昂贵且缓慢。立场论文(paper)建议把科学仿真用作训练用的验证器。TwinLab-Bench(paper)则选择了另一条路:为每个任务配置一个名为“TwinLab 智能体”的环境智能体,由它读取实验室原始数据、调用由实验记录构建的计算器,代为执行被测智能体设计的实验。这一思路接近实验室的数字孪生(Digital Twin)。

选择这种设计的原因是一致性。TwinLab-Bench 研究团队报告称,与只看任务描述的语言模型相比,TwinLab 智能体几乎消除了偏离真实记录的测量值,以及重复同一请求时答案发生变化的问题。他们还同时进行了不提供资料而直接提问的 closed-book 检查,以辨别模型是否靠记忆答对。

⑤ 和 ⑥ 也不是随手附加的步骤。立场论文(paper)主张,需要一种在整个调查过程中携带信念和不断变化的目标的“持续且可修正的认知状态”。因为如果一次错误的预测没有反映到下一个假设中,循环运行再多次也学不到东西。

AI 科学家的闭环实验循环假设生成 → 实验设计; 实验设计 → 实验执行; 执行选项 → 实验执行; 实验执行 → 结果解读; 结果解读 → 批判·统计检验; 批判·统计检验 → 信念状态更新(不一致); 信念状态更新 → 假设生成(下一个假设)执行选项真实设备·仿真实验记录孪生假设生成实验设计实验执行结果解读批判·统计检验反例·证伪标准信念状态更新记录已知与未知不一致下一个假设
AI 科学家的闭环实验循环 中间一行从左到右依次由假设推进到解读,下面一行经过批判与检验更新信念后,再回到假设。上方虚线框是执行环境的可选项。

发展脉络:从自动化走向可验证的发现

Jr. AI Scientist(paper)模仿初级研究生的研究流程:分析人类导师给出的基准论文的局限,提出改进假设,反复实验直到性能提升,然后撰写论文。它的新颖之处在于用编程智能体处理跨多个文件的复杂实现。不过,作者评估和 Agents4Science 评审暴露出重要局限,研究团队也同时发布了风险报告。

2025 年实现差距研究(paper)将“执行验证的能力”指为瓶颈之后,2026 年的立场论文(paper)把问题扩展到更根本的设计选择上。该论文列出四项挑战:只挑容易测量的问题的麦克纳马拉谬误、缺少实验室隐性知识的训练数据、向共识收窄的输出,以及缺乏物理实验反馈的基准。作者认为,仅靠扩大模型规模或给 harness 打补丁无法解决这些挑战。

在真实物理系统上运行循环的案例有 AHOIS(paper)。它在多模光纤光学装置上,由物理批评智能体通过追问因果、检查约束、构造反例、设立证伪标准等“苏格拉底式”提问来逼问假设。该系统自主提出并验证了随机干涉编码假设。它诊断出编码不稳定、荧光污染和探测器噪声这几种不同的失败原因,并把已发表的成像协议转化为可在不同于原始配置的装置上运行的执行流程。所发现的编码在 16×16 测量中有效秩为 56.9,MNIST 分类准确率为 76.97%,Fashion-MNIST 为 83.17%。在消融实验(ablation)中,苏格拉底式提问提高了物理一致性。

同一时期也出现了验证与监督方面的研究。DiscoPER(paper)要求所有提出的发现都必须通过统计检验,并增加了二阶推理:把累积的发现再当作数据分析,以找出混杂因素和遗漏。AIMC(paper)对自主 AI 科学家 FARS 产出的论文进行可视化分析,帮助人发现反复出现的方法论缺陷。“智能体经济”研究(paper)主张,由于假设验证和实验需要大量物理和经济资源且这些资源有限,除推理能力外,还需要资源分配、贡献认定和责任追溯机制。

AI 科学家研究地图 将同一时期的研究按性质分组。由于缺乏依据,没有加入箭头;点击方框可跳转到原文。

最新动向:用真实记录评分

TwinLab-Bench(paper)把 AI 科学家所需的能力分为开放程度逐步提高的三个层级:准确执行给定的计算流程、在给定的设计空间中选择下一次测量、自主设计实验。现有基准主要只衡量前两个层级。TwinLab-Bench 包含来自物理科学、生命科学和工程实验室的 52 个任务以及 100 多种实验操作类型,并将智能体的报告与取自真实实验室记录的隐藏答案进行比较评分。研究团队报告称,这些任务对前沿模型来说依然困难,即使最强的 Claude Fable 5.2 平均得分也很低。这意味着“预测自主设计实验的结果”仍是一个开放问题。

假设链研究(paper)揭示了预测循环的结构性盲点。研究者在初始数据中刻意去掉一个窄峰(peak),让两个前沿 AI 科学家(Claude Sonnet 5.5、GPT-6.1-Sol)进行 32 次闭环试验。两个模型对峰所在区间的测量都少于随机探索。由于候选模型在未测量区间画出了彼此相似的简单曲线,“去模型之间意见分歧的地方做实验”的策略就没有理由去看那里。更忠实执行该策略的智能体 32 次全部漏掉了峰。相反,及早试探未测量区间并持续追踪异常信号的情况则成功发现了峰。

Sage-Taiyi(paper)采用元认知(检查和调节自身理解的能力)结构来选择下一个研究对象和方法。在从 10 个领域 50 篇论文中提取的 265 个任务构成的 Taiyi-Bench 上,它取得 54.0 的综合得分,超过最强基线 AI Scientist-v2 的 47.9。更值得关注的是,在由专家主导的五项合作中,其建议经过真实实验得到验证:钴催化羰基化反应收率从微量提高到 84%,光催化烯丙基胺化反应收率从 13% 提高到 69%。不过,这应理解为与人类专家共同优化反应条件的案例,而不是 AI 独自预测实验结果的案例。

AI 科学家能力的开放程度

← 执行给定流程自主设计实验 →
123
  1. 准确执行计算流程
  2. 从给定候选中选择下一次测量
  3. 自行设计实验·报告结果
将 TwinLab-Bench 划分的三种能力按从较不开放到较开放的顺序排列。位置仅表示概念上的顺序,并非数值。

局限与争议:何时可信,何时存疑

就目前的证据而言,很难说“AI 科学家能独自准确预测湿实验结果”。即使在以真实记录评分的 TwinLab-Bench(paper)中,成绩也很低。取得实验室成果的案例(paper、paper)都是在与真实设备或专家构成的循环中实现的。不应把基准分数直接解读为“实验室中的预测性能”。另一个争议点是记忆。如果实验结果已经发表成论文,模型可能不是在预测,而是在回忆。这正是 TwinLab-Bench 单独设置 closed-book 检查的原因。

方法论方面也存在争议。立场论文(paper)提议将 AI 生成的所有假设集中进行预注册。由于智能体会大量生成假设,如果只报告其中碰巧正确的那些,看起来就可能像是发现。同一论文指出的麦克纳马拉谬误,即只挑容易测量的问题的倾向,也需要警惕。资源同样是问题。正如智能体经济研究(paper)所说,实验资源有限,因此需要先确定循环运行多少次,以及由谁承担成本和责任。

实际判断标准如下:用于缩小实验候选范围、诊断失败原因、整理和追踪实验记录是可行的;但应避免只凭 AI 的预测就省略确认实验。常见错误有三种:只在模型之间意见分歧的地方做实验(paper);不检查重复同一请求时答案是否变化;未经统计检验就接受发现。以由人负责假设选择和最终解释的人在回路结构为默认做法更为稳妥。

AI 科学家预测使用检查清单

评估

  • 是否用真实实验记录评分?
  • 是否用 closed-book 方式确认答案不是靠记忆答对的?
  • 重复同一请求时答案是否一致?

探索

  • 是否只在模型不一致的区间做实验?
  • 是否尽早试探尚未测量的区间?
  • 每项发现是否都经过统计检验?

运营

  • 是否预先登记了假设?
  • 是否明确了实验资源和责任主体?
  • 最终解释是否由人负责?
将正文讨论的问题整理为实务检查项。

延伸阅读

若想先把握问题意识,可依次阅读实现差距研究(paper)和立场论文(paper)。前者给出“执行是瓶颈”的诊断,后者则深入到训练数据、后训练和基准设计,给出原因分析和对策。

若想具体了解循环设计,可将 AHOIS(paper)与 DiscoPER(paper)对照阅读,比较用批评智能体保障物理一致性的方式与用统计检验筛选发现的方式。如果关注人的监督和资源问题,可阅读 AIMC(paper)和智能体经济研究(paper)。

最新的评估动向可从 TwinLab-Bench(paper)读起。接着通过假设链研究(paper)了解探索策略的陷阱,再通过 Sage-Taiyi(paper)了解一直延伸到实验室验证的案例,就能更立体地看到“能否预测”这一问题目前的答案。

相关术语

AI 智能体 智能体工作流 数字孪生 基准测试 人在回路 多智能体 后训练 AI 新药研发

参考资料

奠基论文

最新研究

由 AI 根据所列参考资料撰写并经过审核。详情请查看原始资料。