LiveMACE: 변화하는 시장에서 LLM 에이전트 역량을 과정 중심으로 평가하는 벤치마크

문제

결과만으로 에이전트를 평가하면 그 결과를 만든 역량이 무엇인지 알 수 없다. 외부 조건이 계속 변하는 환경에서는 결과가 에이전트 행동과 환경 변화가 얽힌 산물이라 이 문제가 더 커진다.

방법

암호화폐 6종과 미국 주식 17종의 실시간 시장에서 되돌릴 수 없는 모의투자 계좌로 Frontier LLM 5개를 약 30일(2026-04-13~05-13) 운영했다. 4시간마다 의사결정 라운드를 연다. 공통 ReAct 틀 위에 Base, 도구 사용, 영구 메모리, 규칙 준수, 멀티 에이전트 협업 구성을 맞춰 붙였다. 누적 수익률과 함께 전체 의사결정 기록에서 메커니즘별 지표를 뽑았다. 도구 호출 점수(TCS), 메모리 사용 품질(MUQ), 규칙 충족 점수(RSS), 관찰 가능한 협업 점수(OCS) 등이며, LLM-as-a-Judge와 프로그램 기반 객관 지표를 섞어 산출했다.

결과

• 저자들은 누적 수익률 순위가 기간이 지나며 크게 흔들렸다고 보고했다. 쌍별 순위 역전이 도구·메모리·규칙·협업 구성에서 각각 21, 19, 19, 29회였지만, 역량 지표 순위의 역전은 0, 5, 8, 2회였다.
• 역량별 선두가 달랐다. 도구 사용은 GPT-5.4, 메모리 활용은 Grok-4.20, 규칙 준수는 Gemini-3.1-Pro, 협업은 DeepSeek-V3.2가 앞섰다. Grok-4.20은 TCS가 가장 낮았는데도 도구 구성에서 수익률은 가장 높았다.
• 모든 모델이 정보 커버리지(IC) 0.809~0.911로 충분한 근거를 모았지만, 호출 효율(IE)은 0.581~0.731로 가장 약한 항목이었다.
• 메모리 구성에서 GPT-5.4는 332회 검색하면서 메모리를 1개만 저장했다. Gemini는 93개를 쌓았지만 MUQ가 0.497로 가장 낮았다. 메모리를 붙인 5개 모델 모두 메모리 없는 구성보다 tail loss가 줄었다.

한계

평가 기간이 약 30일, 모델 5개, 종목 23개로 제한적이고 실거래가 아닌 모의투자다. 일부 지표는 LLM judge 판정에 의존한다. 수익률은 그 기간의 시장 상황에 크게 좌우되므로 결과를 다른 시기로 일반화하기 어렵다.

의미

에이전트를 도입할 때 최종 성과 지표만 보면 어떤 메커니즘이 실제로 작동하는지 알 수 없다. 메커니즘 접근, 효과적 사용, 성과를 나눠 측정하는 평가 설계를 운영 환경 모니터링에 적용할 수 있다.

핵심 용어

Outcome–Capability Gap

최종 결과(수익률)와 그 결과를 만든 역량(도구 사용, 메모리 등)에 대한 측정이 서로 어긋나는 현상이다.

ReAct

LLM이 추론(Reason)과 행동(Act, 도구 호출 등)을 번갈아 하며 과제를 푸는 에이전트 틀이다.

Process-aware 평가

최종 결과뿐 아니라 관측, 추론, 도구 호출, 행동으로 이어지는 전체 실행 기록을 근거로 에이전트를 평가하는 방식이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• Hugging Face

저자: Jun Zhao, Leiming Fu, Yanbo Wen, Yiding Wang, Xuantong Liu, Yang Shu, Yuyang Lu, Xuanran Xing, 외 · 게시 2026-10-07 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.