논문 리뷰 · 2026년 10월 28일
Trial by Trace: AI 에이전트 Harness의 신뢰성과 실패 원인을 평가하는 벤치마크
Trial by Trace: Benchmarking AI Agent Harnesses for Reliability and Failure Attribution
에이전트 성능을 모델과 Harness로 분리해 보는 95개 과제·2계층 평가 체계를 만들어, 작업 성공 뒤에 숨은 Harness 결함을 드러냈다.
문제
에이전트 성능은 모델뿐 아니라 문맥 관리, 도구 전달, 권한, 세션 관리 같은 Harness에 달려 있다. 그런데 기존 벤치마크는 최종 답이나 테스트 통과만 보므로, 문맥 유실이나 잘못된 도구 결과 전달 같은 Harness 결함이 작업 성공에 가려지고, 실패해도 모델 탓인지 Harness 탓인지 구분할 수 없다.
방법
Harness 신뢰성을 Context, Execution, Governance, Lifecycle, Observability, Tools, Verification의 7개 구성 요소(40개 세부 속성)로 나누고, 특정 메커니즘을 자극하는 95개 전문가 수준 과제를 만들었다. 각 과제에는 실행 가능하거나 상태 기반인 정답 기준을 둔다. Codex, Claude Code, OpenClaw, DeepSeek Harness를 각자의 네이티브 동작을 유지한 채 어댑터로 실행한다. Trajectory Tracing(TT)으로 실행 기록을 공통 형식(Trace IR)으로 복원하고, MEA 모듈로 에이전트 문맥·Harness·환경 상태에서 근거를 모아 LLM Judge가 채점한다. Agent 계층과 Harness 계층 점수를 따로 매기고, Failure Attribution(FA) 모듈은 미리 정의한 메커니즘 연쇄로 Harness 실패와 Agent 실패를 잇는 후보 연결을 찾는다.
결과
- Harness 4개, 모델 9개, 과제 95개로 총 3,420회를 실행했다.
- Harness별 매크로 평균 점수는 59.8%~72.0%로 차이가 났다.
- 전체 실행의 31.1%는 작업에는 성공했지만 Harness 기준을 하나 이상 통과하지 못했다.
- 작업 성공률 기준과 Harness 기준 충족률 기준의 Harness 순위가 서로 달랐다고 저자들은 보고했다.
한계
과제 수가 95개로 많지 않고 구성 요소별로 고르지 않다(Execution 27개, Verification 1개, Observability 7개). 모델·과제 조합당 선택된 실행 1회만 집계한다. 의미 판단에 LLM Judge를 쓰며, 자동 귀인은 '후보 연결'까지만 제시하고 실제 실패 전파를 확정하려면 수동 검토가 필요하다고 저자들도 밝혔다.
의미
코딩 에이전트처럼 같은 모델을 여러 Harness로 쓰는 상황이 늘면서, Harness 선택과 개선이 실무 품질을 좌우한다. 이 벤치마크는 '작업은 성공했지만 내부적으로 문제가 있던' 실행을 걸러내고 원인을 추적하는 감사 가능한 평가 틀을 제공한다. 에이전트 운영·관측 체계를 설계할 때 참고할 수 있다.
핵심 용어
- Agent Harness
- 모델을 감싸 문맥 구성, 도구 노출·호출, 상태 유지, 권한 통제 등을 담당하는 실행 시스템이다. 저자들은 Agent = Model + Harness로 정의한다.
- Trace IR
- Harness마다 다른 실행 기록을 출처 정보를 보존한 채 공통 형식으로 정규화한 중간 표현이다.
- Failure Attribution
- 실패한 작업 결과가 어떤 Harness 결함에서 비롯됐는지, 미리 정의한 메커니즘 연쇄로 연결해 원인을 추정하는 과정이다.
원문
저자: Zhiyong Cao, Hengjie Zhu, Yongxin Wang, Xuchen Li, Jintao Li, Shuxia Liu, Dunqiang Liu, Bo Wang, 외 · 게시 2026-10-23 · 라이선스 CC BY-NC-SA 4.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.