논문 리뷰 · 2026년 10월 28일

Trajectory2Gym: 도구 사용 에이전트를 위한 결정 근거 기반 조합형 상호작용 합성

Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents

에이전트 언어 모델 고급 추천 331 cs.CL ant-international

성공한 Trajectory를 모으는 대신 부족한 다단계 의존 구조를 일부러 만들고, 에이전트가 볼 수 있는 정보로 정당화되는 행동만 학습시켜 Qwen3 5개 규모 모두에서 도구 사용 성능을 높였다.

문제

도구 사용 에이전트 학습 데이터는 보통 작업 성공 여부로 Trajectory를 거른다. 그런데 성공한 Trajectory도 여러 단계에 걸친 의존 관계(조회 실패 후 재시도, 확인 후 실행 등)를 거의 담지 않거나, 수집 시점에 에이전트가 볼 수 없던 정보에 기대는 행동을 포함할 수 있다. 저자들이 모은 후보 34,772개 중 40.9%는 지도 학습 대상 결정이 2개 이하였고, 실제 오류 뒤의 결정을 담은 것은 10.0%뿐이었다.

방법

세 단계로 구성된다. (1) 조합형 상호작용 합성: 행동·관찰·복구·분기 등을 공통 능력 어휘로 표현하고, 데이터에서 부족한 경로를 골라 그에 맞는 요청과 초기 상태를 생성한 뒤 Teacher 모델이 실제 환경에서 실행한다. (2) 근거 기반 지도: 각 행동이 실행 가능하고(e), 그 시점에 에이전트가 볼 수 있는 기록으로 인자·도구가 뒷받침되는지(v)를 확인해 둘 다 만족하고 작업이 성공·순서 요건을 지킨 행동만 학습 대상으로 마스킹한다. 실패한 호출과 오류 메시지는 문맥으로만 남긴다. (3) 구조 지지 기반 학습: 모델 규모별 목표 지지 수(1.7B는 1개, 30B-A3B는 8개 등)까지 경로별 부족분을 채우도록 Trajectory를 고르고, 한 Trajectory가 여러 예시로 쪼개져도 가중치가 같도록 parent 단위로 정규화한 SFT를 1 epoch 수행한다.

결과

Qwen3 1.7B~30B-A3B 5개 규모 모두에서 Tau1, Tau2, BFCL이 각각 올랐고, 세 벤치마크 동일 가중 평균은 16.9~29.8%p 높아졌다고 저자들은 보고했다.
Tau1·Tau2 평균(Mean)은 Qwen3-14B가 28.52에서 69.44로(+40.92), Qwen3-30B-A3B가 36.36에서 75.47로(+39.11) 올랐다.
학습한 Qwen3-4B의 Tau2 평균은 69.17로, 학습 전 Qwen3-30B-A3B(28.33)보다 높았다.
학습한 8B 모델은 재평가한 공개 에이전트 학습 체크포인트(Simia, MUA-RL, LoopTool 등)보다 세 벤치마크 평균이 가장 높았다. 단, 이 비교는 조건을 맞춘 대조 실험이 아니다.
향상 폭은 이전 관찰과 피드백에 이후 결정이 의존하는 상태 기반·멀티턴 상호작용에서 가장 컸다.

한계

실험은 Qwen3 계열과 SFT 1 epoch에 한정된다. 각 작업은 한 번씩만 실행했고, 공개 체크포인트·폐쇄형 모델과의 비교는 학습 데이터·모델 계열·문맥 예산이 달라 동일 조건 비교가 아니라고 저자들도 밝혔다. Tau1 Airline은 학습에서 본 작업을 쓰는 transductive 설정이다. 합성과 인증이 Teacher 모델과 환경별 검사 규칙에 의존한다.

의미

에이전트 데이터를 늘릴 때 '성공한 Trajectory를 더 모으면 된다'는 관행에 반론을 제시한다. 어떤 의존 구조를 담는지, 각 행동을 에이전트가 볼 수 있는 정보로 정당화할 수 있는지를 따져 데이터를 설계하면, 작은 모델도 큰 모델 이상의 도구 사용 성능을 낼 수 있음을 보여준다. 고객지원형 에이전트 데이터 파이프라인을 설계할 때 참고할 만하다.

핵심 용어

Decision grounding(결정 근거): 학습 대상 행동이 그 시점에 에이전트가 볼 수 있는 대화·도구 결과만으로 정당화되는지 여부다. 수집자만 알던 식별자를 쓴 행동은 학습 대상에서 뺀다.
Compositional coverage(조합 커버리지): 관찰 결과가 이후 행동을 결정하는 다단계 의존 구조가 학습 데이터에 충분히 반복해 들어 있는지를 뜻한다.
Supervision mask: Trajectory 전체는 문맥으로 쓰되, 손실을 계산할 행동만 1로 표시하는 이진 마스크다. 실패한 호출은 문맥에 남기고 학습 대상에서는 뺀다.
Parent-normalized SFT: 하나의 상호작용이 여러 학습 예시로 쪼개져도 원래 상호작용 단위로 같은 가중치를 주는 SFT 방식이다. 긴 멀티턴 대화가 손실을 지배하는 것을 막는다.

원문

저자: Yihao Hu, Zhihao Wen, Yitong Lin, Siyuan Lu, Pan Wang, Wei Wu, Jiang-Ming Yang, Tao Lin · 게시 2026-10-24 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.