BizBench: 실제 비즈니스 환경에 장기 과제 에이전트를 배포할 때 숨은 난관을 드러내는 벤치마크

문제

기존 장기 과제 에이전트 벤치마크는 최종 과제 성공 여부에 집중한다. 그래서 중간 단계의 위반을 잡아내기 어렵다. 결제처럼 위험이 큰 업무에서는 승인 없는 송금이나 최소 잔액 위반이 나중에 결과를 바로잡더라도 그 자체로 실패다. 또 실제 업무 규정은 낡거나 서로 충돌하는 문서에 흩어져 있다.

방법

글로벌 결제 회사의 업무 문서를 SOP로 정리하고 민감한 내용을 바꿔 쓴 뒤, 실행 가능한 환경으로 재구성했다. 환경에는 지식 문서 789개와 탐색해서 찾아 써야 하는 비즈니스 도구 601개가 있다. 과제 50개는 자원 제약, 시간 의존성, 이전 약속, 낡거나 충돌하는 지침을 포함한다. LLM 사용자 시뮬레이터가 고객 정보와 승인을 제공한다. 평가는 목표 달성(G), 실행 중 요건 준수(P), 보호 대상과 금지된 부작용(F)을 모두 만족해야 성공으로 보는 결정적(deterministic) 체크로 하며, LLM judge는 쓰지 않는다. Golden trace 재실행과 의도적인 위반 사례로 평가기를 검증했다.

결과

• 저자들은 엄격 성공률이 Claude Opus 5 64.0%, GPT-6 Sol 61.3%에 그쳤다고 보고했다.
• GPT-6 Sol도 세 번 시도 모두 성공한 과제는 40.0%뿐이어서 실행마다 결과가 크게 흔들렸다.
• Qwen3.8-27B는 목표 달성률이 42.0%였지만, 중간 실행 위반까지 반영한 엄격 성공률은 32.7%로 떨어졌다. 결과만 보는 평가가 잘못된 실행을 가릴 수 있음을 보여 준다.
• DeepSeek-V4.1-Flash는 실행당 평균 191.3회 도구를 호출해 참조 실행보다 약 70% 많았다. Qwen3.5-9B는 150회 실행 중 모든 목표를 달성한 경우가 한 번도 없었다.

한계

과제가 50개이고, 회사 한 곳의 결제 업무를 바탕으로 한다. 기밀 보호를 위해 업무 세부를 추상화하고 바꿔 썼기 때문에 실제 환경과 차이가 있을 수 있다. 사용자 역할을 LLM 시뮬레이터가 맡아 시뮬레이터의 행동이 결과에 영향을 줄 수 있다.

의미

금융·기업 업무에 에이전트를 도입할 때는 '결과가 맞는가'만큼 '과정이 규정을 지켰는가'가 중요하다. 이 벤치마크는 그 차이를 정량적으로 보여 주고, 승인 순서, 최소 잔액, 유효한 규정 판별처럼 실무 검증 항목을 평가 설계에 넣는 방법을 제시한다.

핵심 용어

엄격 성공률(Strict Success)

최종 목표 달성뿐 아니라 실행 과정의 승인·제약 준수와 금지된 부작용 회피까지 모두 만족해야 성공으로 치는 지표다.

Golden Trace

과제를 올바르게 푸는 참조 실행 기록이다. 목표와 제약을 동시에 만족할 수 있는지 검증하는 데 쓰며, 정답 경로를 하나로 강제하지는 않는다.

사용자 시뮬레이터

LLM이 고객 역할을 맡아 대화 중에 고객 정보를 알려 주고 승인 요청에 응답하는 장치다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• Hugging Face

저자: Enhan Zhao, Yongqi Tong, Xuejun Yu, Hang Wang, Pan Wang, Yichao Wang, Di He, Jianshe Li, 외 · 게시 2026-10-14 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.