논문 리뷰 · 2026년 10월 16일
방법이 많을수록 에이전트가 좋아질까? 에이전트 강화학습의 Self-Distillation 방법 재점검
More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning
Self-Distillation 기반 에이전트 강화학습 방법 10개를 같은 조건에서 GRPO와 비교해, 일관되게 GRPO를 이기는 방법이 없음을 확인했다.
문제
에이전트 강화학습에서 Self-Distillation 방법이 빠르게 늘고 있다. 하지만 각 논문이 실험 조건이 다른 기준선 점수를 그대로 가져다 쓰고, 동시대 방법끼리 직접 비교한 경우가 적다. 학습 안정성과 계산 비용도 잘 보고하지 않아, 보고된 성능 향상이 어디서 오는지 알기 어렵다.
방법
대표적인 방법 10개를 GRPO와 함께 ALFWorld, ScienceWorld, Search-QA, WebShop 네 환경, 세 가지 모델 크기에서 같은 조건으로 학습·평가했다. 사전학습 모델과 학습된 11개 방법 모두 Rollout 시드 8개로 반복 평가했다. 최종 성능뿐 아니라 학습 진행, 안정성, 실제 측정한 계산 비용도 분석했다.
결과
- 총 132회 학습, H800 GPU 12,124.4시간 규모의 비교 실험을 수행했다.
- 저자들은 GRPO보다 나은 성능 향상이 일부 설정에 그쳤고, 모든 설정에서 GRPO를 꾸준히 이기는 방법은 없었다고 보고했다.
- 최종 성능이 좋아도 학습 과정은 불안정한 경우가 있었다.
- 학습 비용을 더 써도 성능이 일관되게 좋아지지는 않았다.
한계
초록 기준 분석이다. 방법별 수치, 모델 크기, 비교한 방법 목록의 세부 내용은 확인하지 못했다. 결론은 네 환경과 세 모델 크기 범위에 한정된다.
의미
에이전트 학습은 비용이 커서, 공정한 공통 비교 기준이 없으면 잘못된 방법을 고르기 쉽다. 새 기법을 도입하기 전에 GRPO 같은 단순한 기준선과 안정성·비용까지 함께 따져봐야 한다는 점을 보여준다.
핵심 용어
- Self-Distillation
- 모델이 스스로 만든 출력이나 더 나은 조건에서의 자기 예측을 Teacher 신호로 삼아 자신을 학습시키는 방식이다.
- GRPO
- 같은 프롬프트에서 여러 응답을 뽑아 그룹 안 상대 보상으로 Advantage를 계산하는 강화학습 알고리즘이다. 별도 가치 모델이 필요 없다.
- Rollout 시드
- 평가할 때 에이전트 실행의 무작위성을 정하는 값이다. 여러 시드로 반복 평가하면 결과의 편차를 확인할 수 있다.
원문
저자: Linhao Zhong, Bozhen Fang, Xuehao Wang, Duochao Shi, Zekai Luo, Guangming Yao, Yi Yuan, Hao Chen, 외 · 게시 2026-10-14 · 라이선스 arXiv 비독점 배포 라이선스 · 초록 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.