Harness² 하네스²
하네스²(Harness²)는 구글이 오픈소스로 공개했다고 보도된 프레임워크다. AI 모델은 그대로 두고, 모델을 둘러싼 실행 환경인 하네스(지시문·도구 사용법·메모리 등)를 에이전트가 일한 경험을 바탕으로 스스로 고치게 한다.
무엇인가
AI 에이전트의 성능은 바탕이 되는 모델뿐 아니라 모델을 감싼 실행 환경, 곧 하네스에도 크게 좌우된다. 보도에 따르면 하네스²는 이 점에 주목해 모델의 가중치(학습으로 정해진 내부 값)를 바꾸지 않고 하네스만 고친다. 여기서 하네스는 시스템 프롬프트, 가이드라인·안전 규칙, 메모리, 도구 사용 지침, 하위 에이전트, 스킬, 스크립트, 플러그인·미들웨어 등 파일 형태로 붙이는 8가지 구성 요소를 말한다. 구글은 연구 내용을 온라인 아카이브(arXiv)에 올리고 코드를 깃허브에 오픈소스로 공개했다고 전해진다.
어떻게 작동하나
개선은 두 단계로 반복된다. 첫 번째 작업 수준에서는 에이전트가 기본 하네스로 일을 해 보면, 개선 시스템이 수정안 두 개를 낸다. 하나는 계획 세우기나 도구 사용처럼 여러 작업에 두루 통하는 문제를 겨냥하고, 다른 하나는 특정 분야의 지식이나 절차를 고친다. 두 수정안을 같은 작업에 적용해 실행 과정을 비교하고(Propose-Probe-Compose, 제안·시험·조합), 효과가 보인 변경을 고른다. 두 번째 하네스 수준에서는 이렇게 얻은 경험을 LESSONS라는 개선 라이브러리에 적어 두었다가 다음 작업에서 참고한다. 새 작업은 직전에 고친 설정이 아니라 기본 하네스에서 다시 시작하는데, 한 작업에만 맞춘 수정이 다른 작업에서 부작용을 내는 일을 줄이려는 설계다.
왜 주목받나
모델 성능을 높이는 흔한 방법은 모델을 다시 학습시키거나, 정답이 정해진 평가 데이터로 맞추는 것이다. 하지만 실제 업무에서는 처음 보는 작업이 계속 나오고, 결과가 맞았는지 자동으로 판정할 기준이 없는 경우도 많다. 하네스²는 정답을 알려 주는 검증기 없이 두 실행 결과를 서로 비교해 개선 방향을 정한다는 점이 다르다. 보도에 따르면 연구진은 전문 업무용 벤치마크인 WorkBuddy-Bench, JobBench, 하비(Harvey)의 LAB에서 GLM-5와 제미나이 3.5 플래시를 바탕으로 시험했고, 한 차례 개선만으로 네 가지 모델·하네스 조합 모두 세 벤치마크에서 점수가 올랐다. 가장 큰 폭은 GLM-5와 OpenCode 조합의 WorkBuddy-Bench로, 64.2점에서 75.7점으로 11.5점 올랐다고 한다. JobBench에서는 최대 4.5점, 법률 업무 평가인 LAB에서는 항목별 통과율이 최대 11.8%포인트 높아졌다고 전해진다.
알아 둘 점
지금까지의 내용은 언론 보도를 근거로 한 것이고, 성능 수치는 연구진이 밝힌 결과다. 개선 폭은 조합마다 달라서, GLM-5와 Codex 조합의 JobBench 점수는 23.6점에서 24.8점으로 1.2점 오르는 데 그쳤다. 연구진은 개선에 예산을 더 들여 수정안을 여러 번 탐색하면 성능이 더 오를 수 있다고 설명했다. 모델 자체를 바꾸지 않으므로 모델이 원래 못 하는 능력이 새로 생기는 것은 아니고, 이미 가진 능력을 더 잘 끌어내는 방식으로 이해하는 편이 맞다. 일반 개념인 '하네스'와 이 특정 프레임워크 이름 '하네스²'는 구분해서 읽어야 한다.
조합마다 다른 개선 폭
개선 전개선 후
예시
이 사이트에서는 'Google, 모델은 그대로 두고 에이전트 실행 환경을 스스로 개선하는 오픈소스 프레임워크 Harness² 공개(보도)' 소식으로 소개됐다. 예를 들어 사내 문서 작업을 맡은 코딩 에이전트가 있다고 하자. 모델을 다시 학습시키는 대신, 에이전트가 실제로 일한 과정을 놓고 '도구를 먼저 확인하라'는 일반 지침을 더한 버전과 '이 분야 문서는 이 순서로 정리하라'는 분야별 지침을 더한 버전을 나란히 돌려 본다. 더 나은 쪽의 변경을 채택하고 얻은 교훈을 기록해 두면, 다음 작업에서는 기본 설정에서 시작하되 그 교훈을 참고해 다시 수정안을 낸다.
이 사이트에서 나온 사례
함께 보면 좋은 용어
참고
- 구글, AI 성능 스스로 높이는 자기개선 프레임워크 ‘하네스²’ 공개 (AI타임스)
- Google Open-Sources Harness2, a Recursive Agent Harnessing Framework (MarkTechPost)
- Google releases Harness2, AI agents that improve themselves (Pasquale Pillitteri)
- Google Open-Sources Harness² Framework: No Model Weight Changes Needed, Agents Boost Scores by Up to 11.5 Points by Rewriting Their Own "Shell" (BigGo Finance)