← 2026年10月9日 简报 · 于韩国时间 12:00 更新时加入
Microsoft研究人员发布基准“ThinkingBox”,检验智能体重复同一任务20次能否都成功(社区消息)
已核实(事实)
一位自称就职于Microsoft的论文作者在Reddit r/MachineLearning上介绍了智能体基准“ThinkingBox-Bench”。该基准由零售、旅行与住宿、汽车保险、数字银行内部IT、咨询IT/HR等5个领域的507个基于政策的业务工作流组成。评分标准不是智能体是否回答“任务已完成”,而是任务结束后数据库是否真正处于正确状态。基准还比较了单次成功与重复20次全部成功的差异。据作者称,论文、代码和数据集均已公开,也可在Hugging Face OpenEnv中使用,但原始评估轨迹未公开。
意义(解读)
企业在业务中使用智能体时,比单次成功率更重要的是重复同一任务时结果是否一致,以及实际系统状态是否被正确更改。这是衡量这种差异的公开评估工具,可作为评估引入智能体时的标准。具体结果数据需查阅原论文。
可信度 中 · 待补官方来源
来源
更多关于 Microsoft
-
据报道,Microsoft要求Azure部门“至少削减20%成本”,AI数据中心投资加重现金流压力
据AI Times援引The Information的报道,Azure负责人、总裁Girish...
-
Microsoft研究人员发布可更准确预测2至6周后天气的低成本机器学习工具(报道)
据The Verge报道,Microsoft研究人员表示,他们找到了一种更准确预测未来2至6周天气的高性价比机器学习方法。基于物理的预报和现有AI模型通常在超过两周后可靠性下降。该公司声称解决了这一局限,并表示农民和灾害应对人员可以加以利用。摘录中未给出具体的准确率数据。
-
Microsoft 发布以可执行代码控制场景、运动和镜头路径的“代码视频模型”(报道)
Microsoft 发布了 Code Video Model,该模型通过可执行代码设计场景构图、物体运动和镜头路径,从而精确控制视频生成。与以往将物理运动交给模型内部处理的方式不同,它先用代码设计场景。
-
Xbox 正式接纳基于 AI 的游戏反编译与移植尝试(报道)
据 The Verge 报道,Xbox 正在正式接纳通过反编译和重编译将经典游戏移植到新设备的 AI 移植做法。文章 URL 中提到了 Xbox Labs 对反编译和模拟的探索,但摘录中没有具体项目内容。
-
Microsoft自研AI芯片Maia明年起以数GW规模部署,Maia 300将于2027年量产部署(报道)
10月12日(当地时间),CEO萨蒂亚·纳德拉在X和官方博客上表示,将对自研AI芯片Azure Maia进行史上最大规模的投资。在昨天报道的Maia 300发布之外,新内容是部署计划:明年起以数GW规模部署Maia产品线。目前Maia 200已用于Microsoft...