RSIHub: 에이전트 진화 기법을 위한 조합형 프레임워크

문제

에이전트 진화 기법은 실행 피드백으로 프롬프트·스킬·도구·오케스트레이션을 개선한다. 하지만 기법마다 작업공간, 실행, 평가, 복구, 이력 관리를 다시 만들어 비교가 어렵다. 기법이 평가나 기록까지 고칠 수 있으면 성능 향상의 원인을 판단하기도 어렵다.

방법

수명주기를 Select, Rollout, Analyze, Mutate, Guardrail, Evaluate, Absorb 단계로 고정하고, 각 단계에 교체 가능한 operator를 꽂는다. recipe는 단계별 operator와 변경 가능한 자원 범위(mutable surface)를 선언한다. 평가와 결과 아카이브는 프레임워크가 관리하며 변경 범위 밖에 둔다. 각 결과는 후보 커밋, 부모, recipe 스냅샷, 평가 조건 지문에 묶여 기록된다. 컨테이너 실행은 Harbor에 맡긴다. AHE, Hyperagents, A-Evolve, GEPA를 recipe로 구현하고, MiniSWE와 Codex를 시드 에이전트로 Terminal Bench 2와 τ³ Banking에서 평가했다.

결과

• 관찰된 최대 전체 pass@1 향상은 13.5%p였다.
• 기법 순위는 에이전트·벤치마크·데이터 분할에 따라 달라졌고, 최적화 이득이 held-out 과제로 항상 전이되지는 않았다.
• 네 기법을 프레임워크 코어 수정 없이 구현했다. recipe는 47~61줄이었고, 기법별 operator 코드는 216~1,087줄이었다.
• 진화 전 에이전트의 직접 실행 대비 능력 보존, 중단 복구, 경계 강제 여부도 별도로 점검했다.

한계

recipe는 원 기법의 정책을 인터페이스 수준에서 옮긴 것이다. 저자들도 프롬프트·모델·예산 차이로 원 구현과 정확히 같지 않을 수 있다고 밝혔다. 평가는 벤치마크 2개, 시드 에이전트 2개, 고정된 모델 설정에 한정된다. 벤치마크 과적합과 specification gaming은 프레임워크가 해결하지 않는 문제로 남는다.

의미

자기개선 에이전트 연구가 늘면서, 공정한 비교와 결과 재현이 핵심 과제가 됐다. 평가를 변경 범위 밖에 두고 계보를 기록하는 설계는 사내 에이전트 자동 개선 파이프라인을 만들 때도 참고할 수 있다.

핵심 용어

에이전트 진화(agent evolution)

실행 결과를 보고 에이전트의 프롬프트·스킬·도구·구조를 자동으로 고쳐 나가는 방법들이다.

Recipe / Operator

Operator는 수명주기 한 단계의 구현이고, recipe는 단계마다 어떤 operator를 쓰고 무엇을 바꿀 수 있는지 선언한 설정이다.

Mutable surface

진화 과정에서 수정이 허용된 파일·자원 범위다. 평가 코드와 기록은 이 범위 밖에 둔다.

Held-out 전이

최적화에 쓰지 않은 과제에서도 개선이 유지되는지를 뜻한다. 학습 과제 과적합 여부를 가늠하는 기준이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Zimu Wang, Xiaobo Wang, Siyu Ye, Jiaqi Li, Silin Chen, Yuling Shi, Ruobing Wang, Jingjing Zhang, 외 · 게시 2026-10-23 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.