장기 과제 LLM 에이전트를 위한 다중 스케일 정책 최적화(MPO)

문제

LLM 에이전트는 검색 쿼리나 도구 호출처럼 턴 단위로 환경과 상호작용하지만, 각 행동은 토큰 단위로 생성한다. GRPO 같은 critic-free 방법은 Rollout 전체에 Advantage 하나를 공유시켜 턴·토큰별 기여를 구분하지 못한다. PPO 같은 토큰 단위 방법은 모든 토큰을 행동으로 다뤄 턴 경계를 반영하지 못한다.

방법

검색 에이전트 학습에서 critic 값을 분석해 보니 값의 분산이 주로 턴 사이에서 생겼다. 이를 근거로 완성된 턴을 매크로 행동으로 보고 턴 단위 개선 하한을 유도했다. 저자들은 같은 KL 제약에서 토큰 surrogate가 턴 내부 분포 이동 때문에 추가 페널티를 진다는 것도 보였다. 제안한 MPO는 두 요소로 이뤄진다. (1) MAE: 턴 단위 GAE로 신용을 턴 사이에 전파한 뒤, 턴 내부 지역 trace를 평균이 0이 되도록 중심화해 더한다. 이 결과 턴 평균은 유지하면서 토큰마다 다른 신용을 준다(제약 최소제곱 사영의 해). (2) 턴 전체 확률 비율을 중요도 가중치로 쓰되, stop-gradient로 각 토큰 고유의 gradient는 유지하고 clipped surrogate로 업데이트한다.

결과

• 한 검색 에이전트 학습에서 2,048개 Trajectory, 16,323개 턴을 분석한 결과, critic 값 분산의 중앙값 89.5%가 턴 평균 간 차이로 설명되었다.
• 93.8%의 Trajectory에서 턴 간 분산이 턴 내 분산보다 컸다.
• 저자들은 4B와 30B-A3B 모델로 검색·도구 사용·자동화 과제를 실험해 강한 RL 기준선보다 일관되게 성능이 높았다고 보고했다. 구체 수치는 제공된 본문 범위에 없다.

한계

제공된 본문에는 벤치마크별 성능 수치가 잘려 있어 개선 폭을 확인할 수 없다. 이론 분석은 고정된 턴 horizon과 최종 보상 하나만 있는 설정을 가정한다. critic을 따로 학습해야 하므로 critic-free 방법보다 학습 부담이 클 수 있다. 실험한 모델 크기는 두 가지다.

의미

멀티턴 도구 사용 에이전트를 강화학습할 때 신용 할당의 단위를 턴과 토큰 두 층으로 나누는 원리 있는 방법을 제시한다. PPO나 GRPO 계열 파이프라인에 비교적 쉽게 붙일 수 있는 구조라 실무 적용 여지가 있다.

핵심 용어

Credit assignment(신용 할당)

최종 보상 하나를 Trajectory 안의 어느 행동이나 토큰 덕분으로 볼지 나눠 주는 문제다.

GAE

Generalized Advantage Estimation. TD 오차를 지수 가중으로 누적해 Advantage를 추정하며, 편향과 분산을 조절할 수 있다.

턴 단위 중요도 비율

새 정책과 이전 정책이 한 턴 전체 출력을 생성할 확률의 비율이다. 토큰별 비율을 모두 곱해서 얻는다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Tao Ren, Hui Yang, Jia Deng, Tingyang Chen, Qiyao Wang, Shuo Tang, Ziyang Zeng, Yuhua Jiang, 외 · 게시 2026-10-26 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.