论文解读 · 2026年10月20日
LiveMACE：在变化的市场中以过程为中心评估 LLM 智能体能力的基准
LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets
该研究在实时金融市场模拟交易环境中，基于执行记录诊断 LLM 智能体的工具使用、记忆、规则遵守和协作能力，并表明收益率与实际能力经常不一致。
问题
只根据结果评估智能体，就无法知道产生这一结果的是哪种能力。在外部条件不断变化的环境中，结果是智能体行为与环境变化交织的产物，这个问题会更加严重。
方法
作者在 6 种加密货币和 17 只美股的实时市场中，用不可回滚的模拟交易账户运行 5 个前沿 LLM 约 30 天（2026-04-13~05-13），每 4 小时进行一轮决策。在统一的 ReAct 框架上，分别配置 Base、工具使用、持久记忆、规则遵守和多智能体协作几种设置。除累计收益率外，还从全部决策记录中提取各机制的指标，包括工具调用得分（TCS）、记忆使用质量（MUQ）、规则满足得分（RSS）、可观察协作得分（OCS）等，结合 LLM-as-a-Judge 和基于程序的客观指标计算得出。
结果
- 作者报告，累计收益率排名随时间大幅波动：在工具、记忆、规则、协作设置中，两两排名反转分别为 21、19、19、29 次，而能力指标排名的反转为 0、5、8、2 次。
- 各项能力的领先者不同：工具使用领先的是 GPT-5.4，记忆利用是 Grok-4.20，规则遵守是 Gemini-3.1-Pro，协作是 DeepSeek-V3.2。Grok-4.20 的 TCS 最低，但在工具设置中收益率最高。
- 所有模型的信息覆盖度（IC）为 0.809~0.911，都收集了足够的证据；但调用效率（IE）为 0.581~0.731，是最薄弱的一项。
- 在记忆设置中，GPT-5.4 检索了 332 次，却只存储了 1 条记忆。Gemini 积累了 93 条，但 MUQ 为 0.497，是最低的。加入记忆的 5 个模型的 tail loss 都比无记忆设置更小。
局限
评估期约 30 天，仅 5 个模型、23 个标的，范围有限，且是模拟交易而非真实交易。部分指标依赖 LLM judge 的判定。收益率在很大程度上取决于该时期的市场状况，因此结果难以推广到其他时期。
意义
引入智能体时，只看最终绩效指标无法知道哪些机制真正在起作用。这种把机制使用、有效运用和绩效分开衡量的评估设计，可以用于生产环境监控。
关键术语
- Outcome–Capability Gap
- 最终结果（收益率）与对产生该结果的能力（工具使用、记忆等）的衡量相互不一致的现象。
- ReAct
- 一种智能体框架：LLM 交替进行推理（Reason）和行动（Act，如调用工具）来完成任务。
- Process-aware 评估
- 一种评估方式：不仅看最终结果，还依据从观察、推理、工具调用到行动的完整执行记录来评估智能体。
原文
作者: Jun Zhao, Leiming Fu, Yanbo Wen, Yiding Wang, Xuantong Liu, Yang Shu, Yuyang Lu, Xuanran Xing, 等 · 发布 2026-10-07 · 许可 CC BY 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。