Doc2Harness: 코딩 에이전트의 장기 Harness 엔지니어링 능력을 측정하는 LLM 벤치마크

문제

코딩 에이전트의 성능은 모델만큼이나 도구 실행, 컨텍스트, 권한, 세션 상태를 관리하는 Harness에 달려 있다. 그런데 기존 벤치마크는 Harness를 고정한 채 최종 과제 성공만 잰다. LLM이 Harness 자체를 얼마나 잘 만드는지는 측정하지 않는다. 또 같은 기능도 구현 방식이 다양하고, Harness는 모델이 있어야 동작하므로 일반 단위 테스트로는 평가하기 어렵다.

방법

1단계에서는 평가 대상 모델이 고정된 빌더 Harness(OpenCode) 안에서 작업한다. 모델은 12개 최신 Harness의 사용자 문서를 통합·정리한 개발 문서와 인터페이스만 있는 계약 뼈대(mini-swe-agent 기반)를 받아, 격리된 컨테이너에서 Harness를 완성한다. 2단계에서는 완성된 Harness를 테스트 케이스마다 별도 컨테이너에 넣고, 스크립트대로 응답하는 Mock 모델로 끝까지 실행한다. 모델에 보낸 요청, 디스크 파일, 종료 코드, 명령 출력 네 가지 채널로 채점한다. 기능이 실제로는 동작하지 않았는데 통과하는 경우는 양성 대조군(positive control)으로 걸러낸다. 테스트 케이스는 공개 이슈 2만여 건 분석, 기존 Harness와의 비교, 한 번에 변수 하나만 바꾸는 확장으로 만들었다.

결과

• 19개 최신 모델을 모델당 독립 빌드 3회, 테스트 케이스 328개로 평가했다. GPT-6 Astra의 통과율이 53.05%로 가장 높았고, 가장 낮은 모델은 27.44%였다(약 26%p 차이).
• 가장 강한 모델도 테스트 케이스의 절반 가까이를 실패했다. 저자들은 실패가 여러 모듈에 걸친 기능을 나누는 방식에 몰려 있다고 보고했다.
• 점수가 높은 Harness일수록 여러 모듈에 걸친 기능을 더 적은 모듈에 모아 두는 경향이 있었다.
• 여섯 개 주요 카테고리별로 보면 같은 모델의 순위가 최대 16계단까지 달라졌다.

한계

빌더 Harness를 OpenCode 하나로 고정해, 다른 빌더 환경에서는 결과가 달라질 수 있다. Mock 모델이 정해진 스크립트대로 응답하므로 실제 LLM과 상호작용할 때의 품질은 직접 재지 않는다. 계약 뼈대가 Python 기반 mini-swe-agent에서 나왔고, 테스트 케이스는 저자들이 설계했다. 제공된 본문이 잘려 있어 세부 분석은 일부만 확인했다.

의미

에이전트가 자기 인프라를 고쳐 나가는 자기 개선 시나리오에서 핵심이 될 'Harness를 만드는 능력'을 처음으로 결정적으로 측정한다. 코딩 에이전트를 직접 만들거나 고르는 팀에게 모델 선택의 참고 자료가 된다.

핵심 용어

Harness

LLM을 감싸 상호작용 루프, 도구 실행, 컨텍스트, 권한, 세션 상태, 오류 복구를 관리하는 에이전트 실행 틀이다. Claude Code, Codex CLI 등이 예다.

Mock 모델

실제 LLM 대신 미리 정한 스크립트대로 응답을 돌려주는 가짜 모델이다. 평가를 결정적이고 재현 가능하게 만든다.

Vacuous Pass(공허한 통과)

검사할 기능이 실제로는 실행되지 않았는데 단언문이 우연히 참이 되어 통과하는 경우다.

양성 대조군(Positive Control)

같은 시나리오에서 반드시 일어나야 하는 결과를 확인해, 관찰 전제가 성립하는지 검증하는 보조 테스트다. 실패하면 원래 테스트도 FAIL로 처리한다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Yuyao Ge, Shenghua Liu, Peizhong Gao, Chendi Ge, Chenxu Liu, Yiwei Wang, Lingrui Mei, Baolong Bi, 외 · 게시 2026-10-14 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.