论文解读 · 2026年10月21日

OR-License：将 LLM 智能体作为真实的运筹学（OR）从业者进行评估

OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners

智能体数据与评测语言模型企业办公物流与供应链中级点赞 160 cs.CL Data Science & Artificial Intelligence Lab at HKUST

将 31 个真实付费 OR 项目按原始资料原样构建为基准，评估了 11 个前沿模型，没有任何模型达到专家水平的可部署质量。

问题

运筹学（OR，Operations Research）是在制造、物流、医疗、零售等领域优化排程、调度、布局等决策的学科。在实际现场，专家要将不完整的客户资料经过需求梳理、数学建模、算法选择、求解器实现，转化为可运行的系统。现有 OR 基准大多从已经整理好的问题描述出发，无法评估解读原始业务资料、向客户询问以补全缺失信息的过程。

方法

从总额 368 万美元的付费 OR 承接项目中选取 10 个行业、31 个实例，进行去标识化处理，但原样保留了原始需求、输入数据、产出物格式和信息边界。客户模拟器 ORSim 只提供业务事实，不提供 OR 专业知识，并由确定性控制器限制每次询问最多只公开 3 条事实。提交的答案由隐藏验证器检查可行性，并与客户实际接受的专家解比较目标函数值。指标 DAQ（Deployment-Adjusted Quality）对相对专家的质量取平均，但不可行的提交计 0 分。此外，还对轨迹进行人工标注，分析了信息获取时机、假设-实验-修正链（HCAEU）以及 8 种错误类型。

结果

在 Claude Code harness 中，11 个模型均未达到专家基准 DAQ 1。最高的 Grok 4.6 严格可行率为 88.39%、DAQ 为 86.55%，差距为 13.45 分。
模型之间的差异主要不在质量，而在于“能否给出可行的答案”。可行率为 45.16%~88.39%，相差 43.23 分；而仅看可行提交的目标函数质量为 96.92%~101.01%，范围仅为 4.09 分。
多个模型在自己成功解决的问题上给出了超过专家基准 100% 的目标函数值。但作者明确指出，这些是各模型不同的子集，不能作为直接比较优化能力的依据。
Grok 4.6 的 13.45 分差距中，11.61 分来自不可行的提交，1.84 分来自质量不足。
客户询问并不止于初始需求确认，而是延续到解的开发与验证阶段，有时后期阶段询问所确认的问题解决比例更高。以可评估任务计，各模型的研究链完成率为 24%~45%。

局限

31 个实例、每个模型-任务对运行 5 次，规模不大。作者明确说明，报告的偏差是任务内波动，而非基准均值的标准误。主要评估 harness 只有 Claude Code 一个，与 Codex harness 的比较放在附录中，结果中可能混有 harness 的影响。轨迹分析依赖人工标注。提供的正文在 RQ1 中途被截断，未能确认 RQ2、RQ3 的详细数值。

意义

用数据展示了将智能体投入实际承接业务时的瓶颈所在。与答案质量相比，产出“满足全部约束的可行产出物”的可靠性才是更大差距的来源，这一结果促使人们重新审视企业引入时的评估标准。此外，将在需求从一开始就不完整的情况下追问信息的能力纳入评估项目，这一点也不同于现有基准。

关键术语

运筹学（OR）: 用有限资源优化排程、调度、布局等的数学决策领域。通常将问题建模为数学公式，并用专用求解器求解。
DAQ(Deployment-Adjusted Quality): 对相对专家解的目标函数质量取平均，但对违反任一约束的不可行提交计 0 分的指标。专家基准值为 1。
ORSim: 扮演客户角色的模拟器，每次询问最多公开 3 条预先批准的业务事实，不提供 OR 专业知识。
严格可行率（Strict Feasibility）: 只有一个实例的所有官方测试用例都通过隐藏验证器才计 1 分的严格成功率。

原文

作者: Peisong Wang, Feixue Liu, Yize Meng, Bowen Liu, Ruoyu Chen, Gaoyang Dai, Xing He, Aiqian Li, 等 · 发布 2026-10-16 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。