논문 리뷰 · 2026년 11월 7일
Harness-S: 형제 Harness에서 배우는 일반화 가능한 에이전트 학습
Harness-S: Learning from Sibling Harnesses for Generalizable Agent Training
기본 Harness에서 모두 실패한 과제만 특화된 형제 Harness로 다시 시도해 강화학습에 쓰고, 원래 Harness에서도 성능이 유지되는 단일 정책을 얻었다.
문제
에이전트 성능은 모델 정책뿐 아니라 프롬프트·도구 인터페이스·메모리·실행 규칙을 묶은 Harness에도 달려 있다. 같은 기반에서 나온 Harness 변형들은 서로 다른 실패를 고치고(국소성·상보성), 정책이 학습될수록 유용성이 바뀐다(비정상성). 그래서 하나의 보편적 Harness로 합치기 어렵다. Harness와 정책을 번갈아 진화시키는 방식은 비용이 크고, 원래 Harness로 돌아가면 성과가 사라질 수 있다.
방법
(1) Directional Harness Evolution: 기본 Harness H0의 실패 원인을 진단해 서로 다른 수정 방향으로 자식 Harness를 만든다. 유효한 변형을 모두 Sibling Harness Pool로 보존하고, 정책 학습 중에는 고정한다. (2) Complementary Harness Rescue Training: H0에서 K개 Rollout이 모두 실패한 과제에 대해서만 라우터가 고른 Top-k 보조 Harness로 같은 정책이 새로 Rollout을 만든다. 이 그룹으로 실패 그룹을 대체해 GRPO로 학습한다. (3) Adaptive Harness Router: Harness별 행동 프로파일과 여러 LLM의 투표로 Harness를 고른다. 프로파일은 정책이 학습됨에 따라 주기적으로 갱신한다.
결과
- 9B 모델을 원래 H0로 평가했을 때 AppWorld Pass@3 72.52%로 GRPO(64.89%)보다 높았다. SWE-Gym 40.00%(GRPO 28.13%), DBBench 76.33%(GRPO 69.67%)도 높았다.
- 4B 모델도 H0 기준 AppWorld Pass@3 67.56%로 GRPO(60.31%)와 H0 rescue GRPO(61.83%)를 넘었다.
- 정책–Harness 공동 진화 방식 WHALE(9B, 자체 최적 Harness 사용)의 AppWorld Pass@3 68.70%보다도 높았다.
- 추론 시 라우터의 Rank-1 Harness를 쓰면 같은 Rollout 수에서 9B AppWorld Pass@3가 75.19%로 더 올랐다.
- 저자들은 행동 분석과 held-out 사례가 Harness가 이끌어낸 행동이 정책 자체로 옮겨졌다는 주장을 뒷받침한다고 보고했다.
한계
실험은 4B·9B 두 크기와 AppWorld·SWE-Gym·DBBench 세 벤치마크에 한정된다. 라우터는 여러 LLM의 투표와 주기적인 검증 Rollout이 필요하다. Harness 풀을 미리 진화시키는 비용도 든다. Harness Pool은 학습 중 고정되므로 정책 변화에 따른 Harness 자체의 갱신은 다루지 않는다.
의미
에이전트 실무에서 Harness를 튜닝하면 일부 과제는 고쳐지고 다른 과제는 퇴보하는 일이 흔하다. 여러 Harness 개선을 하나로 합치는 대신 학습 신호로만 쓰고, 배포는 기존 Harness로 할 수 있다는 점에서 운영 부담을 줄이는 방향을 제시한다.
핵심 용어
- Harness
- LLM 에이전트를 둘러싼 실행 체계다. 프롬프트, 도구 인터페이스, 컨텍스트·메모리 관리, 실행 규칙을 포함한다.
- GRPO
- 같은 과제에 대한 여러 Rollout의 보상을 그룹 평균·표준편차로 정규화해 상대적 이점을 계산하는 강화학습 방식이다. 모두 실패하면 학습 신호가 사라진다.
- Rescue Rollout
- 기본 Harness에서 모두 실패한 과제를 다른 Harness로 다시 시도해 성공·실패가 섞인 학습 그룹을 만드는 것이다.
- Harness Behavior Profile
- 어떤 과제 조건에서 특정 Harness가 현재 정책에 도움이 되는지 방해가 되는지를 LLM이 정리한 행동 요약이다.
원문
저자: Kangning Zhang, Wenxiang Jiao, Bowen Fang, Shuai Shao, Jiachen Zhu, Rong Shan, Shijian Wang, Hao Wang, 외 · 게시 2026-11-03 · 라이선스 CC BY 4.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.