← 2026年10月9日 简报 · 于韩国时间 12:00 更新时加入

Microsoft研究人员发布基准“ThinkingBox”,检验智能体重复同一任务20次能否都成功(社区消息)

已核实(事实)

一位自称就职于Microsoft的论文作者在Reddit r/MachineLearning上介绍了智能体基准“ThinkingBox-Bench”。该基准由零售、旅行与住宿、汽车保险、数字银行内部IT、咨询IT/HR等5个领域的507个基于政策的业务工作流组成。评分标准不是智能体是否回答“任务已完成”,而是任务结束后数据库是否真正处于正确状态。基准还比较了单次成功与重复20次全部成功的差异。据作者称,论文、代码和数据集均已公开,也可在Hugging Face OpenEnv中使用,但原始评估轨迹未公开。

意义(解读)

企业在业务中使用智能体时,比单次成功率更重要的是重复同一任务时结果是否一致,以及实际系统状态是否被正确更改。这是衡量这种差异的公开评估工具,可作为评估引入智能体时的标准。具体结果数据需查阅原论文。

可信度 中 · 待补官方来源

来源

更多关于 Microsoft