论文解读 · 2026年10月24日

真实网络环境中的 Deep Search：OpenDS-World 基准

Deep Search in Real-World Web Environments

构建了 200 个以视频为起点、需经过多个网络来源、格式和交互才能找到答案的任务，并测量了 12 个最新模型的智能体 Deep Search 能力。

问题

Deep Search 智能体发展迅速，但在真实开放网络中端到端开展调查的能力尚未得到充分评估。真实网络信息分散在多种模态（文本、图像、音频、视频）和格式（HTML、PDF、XML、Parquet）中，而且往往需要通过虚拟导览操作或参数输入等交互才能获取。现有基准无法同时覆盖这些方面。

方法

任务从公开视频开始。专业标注者确定只能通过视频的视听内容识别的锚点实体（对应 Wikidata 条目）。随后通过 Google 搜索选择来源来扩展证据路径，每个节点都用多个来源交叉验证。最后将路径反转，生成以约束组合形式间接描述中间实体的问题。10 名审核者验证证据和答案唯一性，最终确定 8 个领域、200 个任务。50 名人类参与者独立进行了解题测试，12 个模型在相同的工具环境和执行协议下评估。

结果

性能最好的模型 GPT-6 Astra 在 200 个任务上的准确率为 39.0%。
人类参与者在不使用 LLM 工具的情况下，1,000 次独立尝试的准确率为 21.1%，42.5% 的任务所有被分配的人都没能解出。
作者报告称，工具调用次数多或运行时间长并不会提高准确率，并将其解释为来源选择、工具协调和长任务管理方面的局限。

局限

任务仅 200 个，规模较小，且所有任务都固定为从视频出发的结构。由于使用真实开放网络，随着时间推移页面变化或消失，可复现性可能下降（视频经存档后发布）。人类基线是在禁止使用 LLM 工具的条件下得出的，与实际用户环境不同。

意义

在评估企业内部研究自动化或 Deep Research 产品时，它可作为衡量静态搜索基准无法揭示的多模态、异构格式和交互式访问能力的标准。最好的模型也未超过 40%，说明改进空间很大。

关键术语

Deep Search 智能体: 跨多个步骤使用搜索、浏览和文件处理工具，收集并关联证据以回答复杂问题的 AI 智能体。
证据路径（Evidence Path）: 从起始线索到最终答案之间由实体和来源构成的链条。每一环都有可验证的网络证据支撑。
Question Inversion: 将完成的证据路径反转，用不直接透露中间步骤的间接描述组合来构造问题的方法。
交互式访问需求: 无法通过简单搜索获得、必须通过页面浏览、参数输入、界面操作、下载等行为才能获取的信息。

原文

作者: Xiaomin Yu, Hongliang Chen, Zhe Huang, Shilin Yan, Shao-Rong Su, Xuqiao Ma, Feiyang Wang, Jiayu Chen, 等 · 发布 2026-10-19 · 许可 CC BY-NC-ND 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。