← 주제 탐구

주제 탐구 · 2026-11-12 · 심화 · 작성자 bombong

장기 에이전트 강화학습: 멀티턴 Rollout과 보상 배분

도구를 수십 번 부르는 에이전트를 강화학습으로 가르칠 때 가장 어려운 일은 마지막 성공·실패 한 번을 어느 턴의 공으로 돌릴지 정하는 것이다. 이 글은 분기 비교, 기준 모델의 가치 추정, 특권 Self-Distillation이라는 세 갈래 해법과, 턴 예산·도구 크레딧·Rollout 비용이라는 요즘 쟁점을 정리한다.

목차
핵심 정리
  • 멀티턴 에이전트 강화학습은 보통 Trajectory 끝의 결과 보상 하나를 모든 턴에 똑같이 나눠 주기 때문에, 실패한 Rollout 속 좋은 행동까지 벌을 받는다.
  • 보상 배분 해법은 크게 세 갈래다. 같은 지점에서 갈라 결과를 비교하기(BranPO), 기준 모델이 매기는 정답 가능성의 변화로 턴별 보상 만들기(TRACE), 특권 정보를 가진 Teacher 신호를 토큰·턴 단위로 섞기(SDAR·ADRS·AgentOPSD)다.
  • 세 갈래 모두 별도 가치 함수(critic)를 학습하지 않으려 한다. 대신 추가 샘플링, 정답 라벨, 스킬 같은 특권 정보 가운데 무엇이 필요한지가 서로 다르다.
  • 멀티턴 강화학습의 이득은 한 단계 판단이 좋아져서라기보다 오류 회복과 긴 작업 버티기에서 나오며, 학습 때 준 턴 예산이 줄면 크게 줄어든다.
  • 최근에는 도구 호출 토큰이 오히려 음의 크레딧을 받는 문제와, 동시에 띄우는 작업 환경의 메모리·지연 비용이 새 과제로 떠올랐다.

왜 필요했나: 결과 한 번으로 수십 턴을 평가하는 문제

LLM 에이전트는 질문 하나를 풀려고 검색하고, 결과를 읽고, 다시 검색하고, 코드를 실행하는 식으로 여러 턴을 오간다. 이 전 과정을 한 번 돌려 본 기록을 Rollout, 그 안의 턴 순서를 Trajectory라고 부른다. 이런 에이전트를 사후 학습(Post-training)할 때 강화학습(Reinforcement learning)이 중심 방법으로 자리 잡았지만, 보상은 대개 마지막 답이 맞았는지 하나뿐이다. SDAR논문은 이 Trajectory 단위 보상이 긴 상호작용에 대해 '거친 감독'밖에 주지 못한다고 지적한다.

문제는 이 결과 하나가 모든 결정에 똑같이 나눠진다는 데 있다. BranPO논문는 이를 '하나의 결과가 모든 결정에 균일하게 배정된다'고 표현한다. TRACE논문는 Trajectory가 도구 호출 수십~수백 번으로 길어지면 결과 보상이 드물어지고 분산이 커지며, 심지어 오해를 부를 수 있다고 본다. 실패한 Rollout 안에도 목표에 다가간 쓸모 있는 행동이 많은데, 결과만 보는 학습은 그 행동에 마지막 실수와 똑같은 음의 이점(advantage, 평균보다 얼마나 나았나를 나타내는 값)을 준다.

여기에 BranPO논문가 '비단조적 정확성'이라고 부른 성질이 겹친다. 초반의 실수가 뒤에서 바로잡히기도 하고, 좋아 보이던 중간 상태가 이후 잘못된 결정으로 무너지기도 한다. 그래서 '지금 상태가 좋아 보인다'는 판단만으로는 각 상태에서 어떤 행동을 해야 할지 알려 주기 어렵다. 이 글의 주제인 보상 배분(credit assignment, 결과의 공과를 각 결정에 나눠 주는 일)은 이 빈틈을 메우려는 시도다.

핵심 아이디어: 경기 결과가 아니라 장면별로 평가하기

축구 경기를 떠올리면 쉽다. 2대 1로 졌다고 해서 그날 뛴 선수 모두의 모든 패스를 똑같이 나쁘다고 평가하면 다음 경기에 고칠 점을 찾을 수 없다. 좋은 감독은 경기 영상을 장면별로 돌려 보며 '이 패스가 실점의 시작이었다', '이 수비는 위기를 막았다'처럼 장면마다 공과를 나눈다. 장기 에이전트 강화학습의 보상 배분도 같은 일을 한다. 최종 성공·실패라는 경기 결과를 그대로 두되, 턴이나 토큰 단위의 촘촘한 신호로 바꿔 어떤 결정이 결과를 갈랐는지 짚어 준다.

이때 피하려는 것이 두 가지 있다. 하나는 각 상태의 가치를 따로 예측하는 가치 함수(critic) 모델을 새로 학습하는 일이다. 모델 하나를 더 학습하는 비용이 들고, 그 예측이 틀리면 신호가 오염된다. 다른 하나는 나무처럼 가지를 대량으로 펼쳐 탐색하거나 과정마다 사람이 라벨을 붙이는 일인데, BranPO논문는 이런 기존 방식이 비용이 크거나 잡음 섞인 신호를 낸다고 지적한다. 그래서 이 분야 연구는 대부분 '추가 모델 학습 없이, 이미 있는 것에서 장면별 평가를 뽑아내는 방법'을 찾는다.

무엇을 '이미 있는 것'으로 쓰느냐에 따라 길이 갈린다. 같은 장면에서 다시 경기를 굴려 보는 방법, 정답을 아는 해설자에게 장면마다 승산을 묻는 방법, 작전 노트(특권 정보)를 본 코치가 같은 장면을 다시 채점하는 방법이다. 다음 절에서 이 세 가지가 실제로 어떻게 돌아가는지 본다.

어떻게 작동하나: 멀티턴 Rollout과 세 가지 신호 만들기

기본 고리는 단순하다. 과제를 받은 정책 모델(학습 중인 LLM)이 생각한 뒤 도구를 부르고, 환경이 돌려준 관찰을 읽고 다시 다음 행동을 고른다. 이 반복이 끝나면 Trajectory 전체가 기록되고, 마지막 답으로 결과 보상이 매겨진다. SDAR·AgentOPSD·TACA 논문들이 기준선으로 쓰는 GRPO 계열 방법은 같은 과제에 Rollout을 여러 개 돌려 그룹 안에서 상대적으로 잘한 Rollout을 밀어 주는 방식이다. 보상 배분 연구는 이 결과 보상과 정책 갱신 사이에 '턴별 신호 만들기' 단계를 끼워 넣는다.

첫째 갈래는 분기 비교다. BranPO논문는 Trajectory를 중간 지점에서 자르고 그 뒤를 다시 샘플링해, 앞부분은 같지만 결과가 갈리는 가지들을 만든다. 앞부분이 같으니 결과 차이는 갈라진 뒤의 결정 때문이라고 볼 수 있다. 여기에 어려운 지점에 가지를 더 배정하는 샘플링과, 중복된 단계의 갱신을 막는 Redundant Step Masking을 더했다.

둘째 갈래는 기준 모델이 매기는 가치의 변화다. TRACE논문는 Rollout을 도구 호출 경계마다 끊어 상태 전이로 보고, 고정된 기준 모델에게 '지금까지의 상태에서 정답이 나올 로그 확률'을 묻는다. 이를 상태 가치로 바꾼 뒤, 한 행동 전후로 가치가 얼마나 달라졌는지(시간차, TD)를 그 행동의 보상으로 삼는다. 별도 critic이나 과정 라벨 학습이 필요 없고, 쓸데없이 반복된 도구 호출은 가치 변화가 상쇄되어 보상이 쌓이지 않는다. 대신 정답(gold answer)이 있어야 한다.

셋째 갈래는 특권 Self-Distillation이다. 학습 때만 쓸 수 있는 과제 맞춤 스킬(절차 안내) 같은 특권 정보를 붙인 Teacher 분기가, 스킬 없이 생성된 같은 토큰을 다시 채점해 촘촘한 신호를 준다. SDAR논문, ADRS논문, AgentOPSD논문가 이 길에 있으며, 공통적으로 Rollout과 실제 추론은 스킬 없이 돌린다. 세 방법의 차이는 다음 절에서 다룬다.

멀티턴 Rollout과 보상 배분 고리과제 → 정책 모델; 정책 모델 → 도구·환경(도구 호출); 도구·환경 → 정책 모델(관찰); 도구·환경 → Trajectory(기록); Trajectory → 결과 보상; 결과 보상 → 턴별 신호 만들기(결과 하나); 분기 비교 → 턴별 신호 만들기; 기준 모델 가치 변화 → 턴별 신호 만들기; 특권 Teacher 채점 → 턴별 신호 만들기; 턴별 신호 만들기 → 정책 갱신(턴별 신호); 정책 갱신 → 정책 모델(갱신)과제정책 모델학습 중인 LLM도구·환경검색·코드 실행Trajectory턴 기록 전체결과 보상성공·실패 하나정책 갱신턴별 신호 만들기보상 배분분기 비교BranPO기준 모델 가치 변화TRACE특권 Teacher 채점SDAR·ADRS·AgentOPSD도구 호출관찰기록결과 하나턴별 신호갱신
멀티턴 Rollout과 보상 배분 고리 위쪽은 정책 모델과 도구 환경이 주고받는 멀티턴 고리이고, 아래쪽은 결과 보상 하나를 턴별 신호로 바꾸는 단계다. 점선 상자는 그 신호를 만드는 세 갈래 방법이다.

발전 흐름: 출발점 논문들이 각각 새로 한 일

2026년 2월의 두 연구가 결과 보상을 쪼개는 문제를 정면으로 다뤘다. BranPO논문는 위에서 본 대조 분기로, 가치 함수 없이 국소적인 대조 신호를 만들어 여러 multi-hop QA(여러 단계 검색이 필요한 질의응답) 벤치마크에서 다양한 기준선을 앞섰고, 추가 학습 비용이 없다고 밝혔다. 같은 달 BAO논문는 보상 배분보다 '턴 사이 행동'에 주목했다. 사용자에게 먼저 묻고 계획하는 능동형 에이전트는 과제 성능과 사용자 부담(질문을 너무 많이 하면 귀찮다) 사이에 파레토 경계가 생기는데, BAO는 정보 수집 행동은 강화하고 비효율적이거나 중복된 상호작용은 억제해 UserRL 벤치마크에서 더 높은 성능과 더 적은 사용자 노력을 함께 얻었다고 보고했다.

같은 시기 WideSeek-R1논문은 다른 축을 열었다. 한 에이전트가 턴을 길게 이어 가는 '깊이 확장' 대신, 리드 에이전트가 여러 서브에이전트를 병렬로 부리는 '폭 확장'을 멀티 에이전트 강화학습으로 학습했다. 하나의 LLM을 공유하되 컨텍스트를 분리하고, 2만 개의 넓은 정보 탐색 과제로 리드와 서브에이전트를 함께 최적화했다. 그 결과 4B 모델이 WideSearch 벤치마크에서 item F1 40.0%를 얻어 단일 에이전트 DeepSeek-R1-671B와 비슷한 수준이었고, 서브에이전트 수를 늘릴수록 성능이 꾸준히 올랐다고 한다.

5월부터는 특권 Self-Distillation이 한 흐름을 이뤘다. SDAR논문은 On-policy Self-Distillation(OPSD)을 멀티턴 에이전트에 그대로 옮기면 턴이 쌓이며 불안정해지고, 스킬 검색·활용이 불완전해 Teacher가 잘못 거부하는 경우가 생긴다고 보았다. 그래서 강화학습을 주 목표로 두고 OPSD는 시그모이드 게이트를 단 보조 목표로 붙였다. Teacher가 지지하는 토큰은 Distillation을 강하게, Teacher가 거부하는 토큰은 부드럽게 줄인다. ALFWorld·WebShop·Search-QA에서 GRPO보다 각각 +9.4%(ALFWorld), +10.2%(WebShop 정확도), +7.0%(Search-QA) 나아졌고, 단순한 GRPO+OPSD의 불안정을 피했다고 보고했다. 8월의 ADRS논문는 Teacher 점수를 각 턴 안에서 정규화하고, Teacher의 확신이 실제 보상과 얼마나 같이 움직이는지를 보는 TVA 게이트로 '그 선호가 결과와 관련 있을 때만' 신호를 쓰게 했다. 같은 달 AgentOPSD논문는 토큰 단위 Teacher-Student 로그 확률 차이를 턴 단위 증거로 모아, 턴마다 베이즈식 믿음을 재귀적으로 갱신하고 믿음이 크게 바뀐 턴을 결정적 턴으로 찾는다. critic도 추가 Rollout도 필요 없으며, Qwen2.5-7B로 ALFWorld 성공률 89.1%를 보고했다.

7월의 TRACE논문는 기준 모델 가치의 TD 변화로 턴별 보상을 만든 방법이다. SFT 콜드 스타트나 에이전트용 중간 학습, 실시간 웹 데이터 없이 순수 강화학습만으로 BrowseComp-Plus 점수를 Qwen3-4B에서 7.2에서 35.6으로, Qwen3-30B-A3B에서 8.4에서 42.6으로 끌어올렸다고 보고했다.

TRACE 학습 전후 BrowseComp-Plus 점수

학습 전TRACE 학습 후

Qwen3-4B+28.4점
Qwen3-30B-A3B+34.2점
TRACE 논문이 보고한 수치로, 순수 강화학습만으로 학습한 전후를 모델별로 비교한다.

세 갈래 비교: 무엇을 맞바꿨나

세 방법 모두 critic을 따로 학습하지 않는다는 점은 같다. 하지만 촘촘한 신호를 공짜로 얻을 수는 없어서, 각자 다른 것을 대가로 낸다. 분기 비교(BranPO)는 중간 지점에서 다시 샘플링해야 하므로 Rollout 수가 늘어난다. 그래서 어려운 지점에만 가지를 몰아 주고 중복 단계를 가리는 장치를 더해 효율을 맞췄다. 대신 정답 라벨이나 특권 정보 없이 결과 보상만으로 돌아간다는 장점이 있다.

TRACE논문식 가치 변화는 추가 Rollout 없이 고정된 기준 모델의 로그 확률만 계산하면 된다. 그 대신 정답 문자열이 있어야 하고, 기준 모델이 '정답에 가까워졌다'를 얼마나 잘 읽어 내느냐에 신호 품질이 달려 있다. 검색처럼 정답이 분명한 과제에 잘 맞고, 정답이 하나로 정해지지 않는 과제에는 그대로 쓰기 어렵다.

특권 Self-Distillation은 같은 정책 모델을 Teacher로 다시 쓰므로 모델을 새로 두지 않고 추가 Rollout도 필요 없다는 점이 강점이다. 대신 과제에 맞는 스킬 같은 특권 정보를 준비해야 하고, SDAR논문이 지적했듯 그 스킬을 잘못 찾거나 잘못 쓰면 Teacher가 엉뚱하게 거부할 수 있다. SDAR의 비대칭 게이트, ADRS논문의 보상 연관 게이트, AgentOPSD논문의 턴 단위 믿음 갱신은 모두 '이 Teacher 신호를 얼마나 믿을까'를 조절하는 장치로 읽을 수 있다.

보상 배분 세 갈래의 맞바꿈

분기 비교BranPO

  • 결과 보상만으로 동작
  • 중간에서 다시 샘플링 필요
  • 어려운 지점에 가지 집중

가치 변화TRACE

  • 추가 Rollout 불필요
  • 정답 문자열이 있어야 함
  • 중복 도구 호출은 상쇄

특권 Self-DistillationSDAR·ADRS·AgentOPSD

  • 같은 모델을 Teacher로 재사용
  • 과제별 스킬 준비 필요
  • Teacher 신뢰도 게이트가 핵심

공통 결과 보상 하나를 턴·토큰 단위 신호로 바꾸는 방법

세 방법 모두 critic을 따로 학습하지 않지만, 추가로 필요한 재료가 다르다.

요즘 어디로 가고 있나: 턴 예산, 도구 크레딧, Rollout 비용

2026년 11월 연구들은 '성능이 오른다'에서 한 걸음 물러나 무엇이 왜 오르는지를 따진다. 멀티턴 강화학습 효과 분석논문은 샘플링 폭 K와 상호작용 깊이 T를 함께 보는 Pass@(K,T)로 평가했다. 그 결과 Trajectory 단위 강화학습의 이점은 턴 예산이 충분할 때만 뚜렷하고, 예산을 조이면 크게 줄었다. 또 에이전트 강화학습이 한 단계 결정의 질을 고르게 올리지는 않았고, 강점은 오류 회복과 긴 작업에서 버티는 힘에 몰려 있었다. 저자들은 학습 중 상호작용 예산을 바꿔 주는 BudgetMix RL을 대안으로 내놓아 다양한 실행 환경에서 안정적인 성능을 얻었다고 보고했다.

TACA논문는 학습 중에 추론 성능과 도구 호출 능력이 오히려 떨어지는 현상을 파고들었다. 원인으로 세 가지가 맞물린다고 본다. 틀린 Trajectory가 턴마다 도구 토큰을 더 많이 쓰면 도구 전체의 크레딧이 음수가 되고, 토큰 평균 집계는 길어진 틀린 Trajectory에 더 큰 무게를 주며, 실행 오류 뒤에 다시 도구를 부르는 재시도가 Trajectory를 늘려 회복 시도까지 음의 크레딧을 받는다. TACA는 프롬프트 그룹 안에서 도구 호출 토큰의 평균 이점이 음수가 되지 않도록 최소한으로 균일하게 옮기는 Advantage Projection, 같은 질문에 도구를 쓴 답과 바로 답한 경우를 비교하는 Decision Contrast, 과거에 맞힌 Trajectory의 호출을 다시 학습하는 Supervised Replay를 더했다.

시스템 쪽 비용도 과제가 됐다. BunshinRL논문은 에이전트 Rollout이 지속되는 작업 공간 안에서 도구 호출을 섞어 돌리므로, 동시에 띄우는 환경의 메모리가 커지고 느린 도구 호출 하나가 배치 전체를 늦춘다는 점에 주목했다. 컨테이너 작업 공간을 통째로 실시간 복제하는 BunshinFork 위에 환경 간 메모리 공유, 도구 접두 캐싱, 추측성 도구 실행을 얹어 최대 메모리를 최대 43%, 전체 메모리 사용을 최대 51%, 처음부터 끝까지의 Rollout 지연을 23% 줄였다고 보고했다. 분기 비교처럼 Rollout을 더 돌리는 방법일수록 이런 시스템 개선의 혜택이 커질 것이다.

장기 에이전트 RL 연구 지도 같은 열은 같은 관심사로 묶은 연구다. 화살표는 그리지 않았으며, 묶음은 계승 관계가 아니라 다루는 문제가 비슷하다는 뜻이다.

한계와 쟁점: 실무에서 따질 것

가장 먼저 짚을 점은 평가 조건이다. 멀티턴 강화학습 효과 분석논문이 보였듯 턴 예산이 넉넉한 벤치마크에서 얻은 이득이 예산이 빡빡한 실제 배포에서는 크게 줄 수 있다. 학습과 평가에서 최대 턴 수를 몇으로 두었는지, 배포 환경의 턴·시간 제한은 얼마인지를 먼저 맞춰 봐야 한다. 같은 연구는 과정 감독 신호가 도움이 되지만 한계도 있다고 예비 논의 수준에서 다뤘으므로, 촘촘한 신호가 이 문제를 바로 해결한다고 기대하지 않는 편이 좋다.

둘째, 보상 배분 방식이 요구하는 재료를 내 과제가 갖고 있는지 확인한다. 정답 문자열이 없으면 TRACE논문식 가치 추정은 어렵고, 과제별 스킬 문서가 없으면 특권 Self-Distillation의 Teacher가 약해진다. SDAR논문이 보고했듯 단순하게 강화학습과 OPSD를 합치기만 하면 오히려 불안정해질 수 있으니, Teacher 신호는 보조 목표로 두고 게이트로 강도를 조절하는 설계를 먼저 검토한다.

셋째, 흔한 실수는 손실을 토큰 평균으로 집계하면서 도구 호출의 크레딧 추이를 보지 않는 것이다. TACA논문가 밝힌 대로 길고 틀린 Trajectory가 업데이트를 지배하면 모델이 도구 쓰기를 피하는 쪽으로 배울 수 있다. 학습 곡선에서 정답률만 보지 말고 도구 호출 빈도와 도구 토큰의 평균 이점을 함께 기록해야 이런 퇴화를 일찍 잡는다. 사용자와 대화하는 에이전트라면 BAO논문가 다룬 것처럼 질문 횟수 같은 사용자 부담도 보상이나 평가에 넣어야 '묻기만 하는' 에이전트를 피할 수 있다.

넷째, 비용이다. Rollout마다 샌드박스(Sandbox) 환경을 띄우는 에이전트 학습은 모델 계산보다 환경 메모리와 느린 도구가 병목이 되기 쉽다. BunshinRL논문의 수치는 해당 시스템에서 측정한 결과이므로 그대로 옮기기보다, 내 환경에서 무엇이 배치를 붙잡고 있는지 먼저 재 보는 것이 순서다. 폭을 넓히는 WideSeek-R1논문식 병렬 서브에이전트도 같은 비용 문제를 키운다.

장기 에이전트 RL 점검 목록

설계 전

  • 학습·평가·배포의 턴 예산이 맞는가
  • 정답 문자열이나 스킬 문서가 있는가
  • 사용자 부담을 보상·평가에 넣었는가

학습 중

  • 도구 호출 빈도가 줄고 있지 않은가
  • 도구 토큰의 평균 이점이 음수인가
  • 길고 틀린 Trajectory가 갱신을 지배하는가
  • Teacher 신호를 보조 목표로 게이트했는가

비용

  • 환경 메모리와 느린 도구가 병목인가
  • 병렬 서브에이전트 수만큼 비용이 느는가
학습을 시작하기 전과 학습 중에 확인할 항목이다.

더 공부하려면

문제 정의부터 잡고 싶다면 TRACE논문와 BranPO논문의 문제 제기 부분을 먼저 읽는다. 실패한 Rollout 속 좋은 행동이 벌을 받는 이유와 비단조적 정확성이 무엇인지가 이 분야 전체의 출발점이다. 이어서 두 논문의 해법을 나란히 놓고 '가치 변화로 평가하기'와 '갈라서 비교하기'가 무엇을 맞바꿨는지 따져 보면 좋다.

특권 Self-Distillation 흐름은 SDAR논문 → ADRS논문 → AgentOPSD논문 순서로 읽으면 Teacher 신호를 '얼마나 믿을지' 조절하는 장치가 토큰 게이트에서 보상 연관 게이트, 턴 단위 믿음 갱신으로 다듬어지는 모습을 볼 수 있다. 실무 적용을 고민한다면 멀티턴 강화학습 효과 분석논문과 TACA논문를 꼭 함께 읽기를 권한다. 앞의 연구들이 보고한 성능 향상을 어떤 조건에서 믿어도 되는지 알려 준다.

에이전트 행동과 구조를 넓혀 보고 싶다면 사용자 부담을 다룬 BAO논문, 병렬 서브에이전트로 폭을 넓힌 WideSeek-R1논문, 학습 인프라 비용을 다룬 BunshinRL논문을 차례로 보면 된다.

관련 용어

강화학습 RLVR Distillation 도구 사용 AI 에이전트 멀티 에이전트 샌드박스 보상 해킹

참고 문헌

핵심 논문

최근 연구

AI가 참고 문헌을 바탕으로 작성하고 검수를 거친 해설입니다. 정확한 내용은 원문을 확인해 주세요.