R²Orch: 스킬 내재화 루프 안의 Self-play로 에이전트 오케스트레이터를 재귀적으로 개선하기

문제

오케스트레이터 학습에는 세 가지 문제가 있다. (1) 사람이 미리 모은 과제 풀(커리큘럼)에 의존한다. (2) GRPO 같은 그룹 기반 강화학습에서는 한 과제의 Rollout 결과가 모두 같으면 Advantage가 0이 되는데(Advantage collapse), 스킬을 빼면 이런 과제가 다시 늘어난다. (3) 스킬을 하나의 노이즈 많은 점수로 평가해 유지·폐기를 결정하므로 판단이 불안정하다.

방법

내부 루프에서는 Proposer가 과제를 고르고, Director(오케스트레이터)가 에이전트 그래프를 편집하는 Trajectory를 만들어 GRPO로 학습한다. 외부 루프는 스킬 라이브러리를 줄여 간다. Recursive Learnability는 검토 중인 스킬을 뺀 상태의 성공률 p로 계산한 4p(1-p)를 Proposer 보상으로 쓴다. 따라서 스킬이 빠져도 결과가 갈리는 과제가 선택된다. Skill Withdrawal은 각 Rollout 그룹의 다수에게는 해당 스킬을 숨기고 일부에게만 보여 주는 통제 실험을 하고, 스킬 효과의 베이지안 사후분포가 '없어도 된다'를 가리키면 스킬을 회수한다. 실패는 스킬로 Distill되고, 스킬은 다시 파라미터에 내재화된다.

결과

• In-distribution 6개 벤치마크 평균 정확도 89.79로, 가장 강한 기준선 PATS(86.00)와 FlowSteer(82.34)보다 높다.
• AIME 2026에서 81.33으로 PATS(74.00)보다 높고, ALFWorld 성공률은 90.63으로 PATS(87.97)보다 높다.
• HotpotQA EM 91.09로, PATS(89.06)와 Qwen3.5-9B 백본(57.81)보다 높다.
• 저자들은 학습 없이 다른 Worker 백본 6종에서도 성능이 오르고, 스킬 없이 테스트해도 정확도가 유지된다고 보고했다.

한계

실험 Director는 Qwen3.5-9B급 백본 기반이고, Worker 풀은 고정되어 있다. 이론 결과(Proposition 1·2)는 작은 trust region과 two-time-scale 같은 가정에 기댄다. OOD 표는 본문에서 잘려 일부만 확인할 수 있었다. 학습 비용과 Rollout 수의 비교는 제공된 본문에서 확인하지 못했다.

의미

사람이 커리큘럼과 스킬을 계속 손으로 관리하지 않아도, 오케스트레이터가 스스로 과제를 고르고 프롬프트 속 스킬 의존도를 줄여 가는 학습 구조를 제시한다. 배포 시 프롬프트에 스킬을 넣지 않아도 되므로 컨텍스트 비용도 줄어든다.

핵심 용어

Advantage collapse

GRPO처럼 같은 과제의 여러 Rollout을 서로 비교하는 학습에서, 결과가 모두 성공이거나 모두 실패이면 학습 신호가 사라지는 현상이다.

Self-play(Proposer–Director)

한 모델은 학습할 과제를 고르고, 다른 모델은 그 과제를 푸는 방식으로 두 정책을 함께 개선하는 학습 구조다.

Recursive Learnability

검토 중인 스킬을 뺀 상태의 성공률 p로 4p(1-p)를 계산해 과제의 학습 가치를 매기는 지표다. p가 0.5일 때 가장 크다.

Skill Withdrawal

Rollout 그룹 안에서 스킬 유무를 무작위로 나눠 효과를 측정하고, 효과가 없다고 판단되면 스킬을 라이브러리에서 빼는 절차다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Mingda Zhang, Yun Huang, Qiang Huang, Yanjin Li, Rui Qian, Qichao Zhao, Tiesunlong Shen, Na Zhao, 외 · 게시 2026-10-15 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.