AgentSWE: 코딩 에이전트는 사용자가 원하는 에이전트를 만들 수 있는가

문제

사용자들이 Claude Code나 Codex 같은 코딩 에이전트에게 자기 업무용 에이전트 제작을 점점 더 많이 맡기고 있다. 하지만 그렇게 만든 에이전트가 요구사항을 실제로 충족하는지 검증하는 벤치마크는 없었다. SWE-bench류는 정답 패치가 있는 일반 코드를, 에이전트 벤치마크는 이미 완성된 에이전트를 평가할 뿐이다.

방법

에이전트 개발 수명주기를 Creation(자연어 요구사항으로 새 에이전트 생성, 10개), Editing(OpenHands·Aider 같은 실제 에이전트 코드베이스에 기능 추가, 10개), Optimization(BrowseComp·OSWorld 등에서 기존 에이전트 개선, 5개)의 세 단계로 나눴다. 코딩 에이전트는 공개된 개발 케이스 몇 개로만 피드백을 받는다. 결과물을 고정한 뒤에는 요구사항 전체를 다루도록 설계된 숨겨진 케이스로 실행해 평가한다. 채점은 요구사항에서 뽑은 루브릭과 하드 게이트로 하고, Optimization은 원 벤치마크의 목표 지표와의 격차를 얼마나 줄였는지로 본다.

결과

• 가장 강한 코딩 에이전트도 숨겨진 케이스 평균 점수가 Creation 19.1, Editing 31.6에 그쳤다.
• Optimization에서는 어떤 에이전트도 목표까지 남은 격차를 평균 5% 넘게 줄이지 못했다. 25회 실행 중 시작 에이전트보다 높은 점수를 낸 경우는 13회뿐이었다.
• 개발 케이스 점수 90 이상으로 마친 Creation 실행도, 숨겨진 케이스에서는 평균 9.9점이었다.
• 저자들은 반복되는 실패 유형으로 공개 케이스 과적합, 겉으로는 완성돼 보이지만 실행하면 아무 일도 하지 않는 런타임, 근거 없는 완료 주장을 꼽았다.

한계

과제가 25개로 적다. Creation·Editing 과제마다 숨겨진 케이스는 6개다. 과제 초안은 GPT-5.6 Sol이 작성하고 저자들이 다듬었다. 채점은 LLM Judge(GPT-5.6 Sol, DeepSeek-V4.1-Flash) 루브릭에 의존한다. 주 실험은 Codex 하네스에 5개 모델을 조합한 것이다.

의미

코딩 에이전트로 사내 자동화 에이전트를 만드는 조직에 시사점이 있다. 데모나 개발용 테스트 통과만으로는 결과물을 믿기 어렵고, 요구사항 전체를 다루는 별도 인수 테스트가 필요하다는 점이다.

핵심 용어

Agent Software Engineering

코딩 에이전트가 요구사항을 받아 다른 에이전트를 만들고, 고치고, 최적화하는 작업이다.

Held-out 케이스

개발 중에는 보여주지 않고 최종 평가에만 쓰는 테스트 케이스다. 과적합 여부를 드러낸다.

하네스(Harness)

모델을 감싸 계획·도구 호출·재시도 등을 조율하는 실행 코드다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Jiahao Wang, Hongjin Qian, Yuyang Hu, Jiajun Zhang, Zheng Liu · 게시 2026-10-09 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.