논문 리뷰 · 2026년 10월 21일

OR-License: LLM 에이전트를 실제 운영 과학(OR) 실무자로 평가하기

OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners

에이전트 데이터·평가 언어 모델 기업 업무·SaaS 물류·공급망 중급 추천 160 cs.CL Data Science & Artificial Intelligence Lab at HKUST

실제 유료 OR 프로젝트 31건을 원본 자료 그대로 벤치마크로 만들어 11개 프론티어 모델을 평가했고, 어떤 모델도 전문가 수준의 배포 가능 품질에 도달하지 못했다.

문제

운영 과학(OR, Operations Research)은 제조·물류·의료·유통에서 일정, 배차, 배치 같은 의사결정을 최적화하는 분야다. 실제 현장에서는 전문가가 불완전한 고객 자료를 요구사항 정리, 수식화, 알고리즘 선택, 솔버 구현을 거쳐 실행 가능한 시스템으로 바꾼다. 기존 OR 벤치마크는 대부분 이미 잘 정리된 문제 설명에서 시작해, 원본 비즈니스 자료를 해석하고 빠진 정보를 고객에게 물어 채우는 과정을 평가하지 못한다.

방법

총 368만 달러 규모의 유료 OR 수주 프로젝트에서 10개 산업, 31개 인스턴스를 가져와 비식별화하되 원본 요구사항·입력 데이터·산출물 형식·정보 경계를 그대로 남겼다. 고객 시뮬레이터 ORSim은 비즈니스 사실만 알려주고 OR 전문 지식은 주지 않으며, 질의 1회당 최대 3개 사실만 공개하도록 결정론적 컨트롤러가 통제한다. 제출된 답은 숨겨진 검증기로 실행 가능성을 확인하고, 고객이 실제로 수용한 전문가 해와 목적함수 값을 비교한다. 지표 DAQ(Deployment-Adjusted Quality)는 전문가 대비 품질을 평균하되 실행 불가능한 제출에는 0점을 준다. 추가로 궤적을 수작업 주석해 정보 획득 시점, 가설-실험-수정 사슬(HCAEU), 오류 유형 8종을 분석했다.

결과

Claude Code 하네스에서 11개 모델 모두 전문가 기준 DAQ 1에 못 미쳤다. 가장 높은 Grok 4.6이 엄격 실행가능률 88.39%, DAQ 86.55%로 13.45점 차이였다.
모델 간 차이는 품질보다 '실행 가능한 답을 내놓는가'에서 갈렸다. 실행가능률은 45.16%~88.39%로 43.23점 벌어진 반면, 실행 가능한 제출만 놓고 본 목적함수 품질은 96.92%~101.01%로 4.09점 범위에 그쳤다.
여러 모델이 자신이 성공한 문제에 한해서는 전문가 기준 100%를 넘는 목적함수 값을 냈다. 다만 이는 모델별로 다른 부분집합이라 최적화 능력을 직접 비교할 근거는 되지 않는다고 저자들은 선을 그었다.
Grok 4.6의 13.45점 격차 중 11.61점이 실행 불가능한 제출에서, 1.84점이 품질 부족에서 나왔다.
고객 질의는 초기 요구사항 확인에만 머물지 않고 해 개발·검증 단계까지 이어졌으며, 후반 단계 질의에서 확인된 문제 해결 비율이 더 높은 경우도 있었다. 평가 가능한 과제 기준 연구 사슬 완성률은 모델별 24%~45%였다.

한계

31개 인스턴스, 모델-과제 쌍당 5회 실행으로 규모가 크지 않다. 보고된 편차는 과제 내 변동이지 벤치마크 평균의 표준오차가 아니라고 저자들이 명시했다. 주 평가 하네스가 Claude Code 하나이고 Codex 하네스 비교는 부록으로 밀려 있어, 결과에 하네스 영향이 섞일 수 있다. 궤적 분석은 수작업 주석에 의존한다. 제공된 본문은 RQ1 중간에서 잘려 RQ2·RQ3의 상세 수치는 확인하지 못했다.

의미

에이전트를 실제 수주 업무에 투입할 때 무엇이 병목인지 수치로 보여준다. 정답 품질보다 '제약을 다 지킨 실행 가능한 산출물'을 내는 신뢰성이 훨씬 더 큰 격차의 원인이라는 결과는, 기업 도입 평가 기준을 다시 보게 만든다. 또 요구사항이 처음부터 완전하지 않은 상황에서 정보를 캐묻는 능력을 평가 항목으로 포함한 점이 기존 벤치마크와 다르다.

핵심 용어

운영 과학(OR): 제한된 자원으로 일정·배차·배치 등을 최적화하는 수학적 의사결정 분야다. 보통 문제를 수식으로 모델링하고 전용 솔버로 푼다.
DAQ(Deployment-Adjusted Quality): 전문가 해 대비 목적함수 품질을 평균하되, 제약을 하나라도 어긴 실행 불가능한 제출에는 0점을 주는 지표다. 전문가 기준값이 1이다.
ORSim: 고객 역할을 하는 시뮬레이터로, 사전 승인된 비즈니스 사실만 질의당 최대 3개씩 공개하고 OR 전문 지식은 주지 않는다.
엄격 실행가능률(Strict Feasibility): 한 인스턴스의 모든 공식 테스트 케이스가 숨겨진 검증기를 통과해야 1점을 주는 엄격한 성공률이다.

원문

저자: Peisong Wang, Feixue Liu, Yize Meng, Bowen Liu, Ruoyu Chen, Gaoyang Dai, Xing He, Aiqian Li, 외 · 게시 2026-10-16 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.