논문 리뷰 · 2026년 10월 15일
RSI-Nav: 정책 동기화 언어-행동 상호 부트스트래핑으로 내비게이션을 재귀적으로 자기 개선하기
Data-Centric Recursive Self-Improvement for Navigation via Policy-Synchronized Language-Action Dual Bootstrapping
한 모델이 경로 지시문을 직접 생성·실행·검증하고, 작은 데이터 묶음(샤드)마다 즉시 스스로를 업데이트하는 재귀적 자기 개선으로 VLN-CE 성공률을 높였다.
문제
비전-언어 내비게이션(VLN)에는 지시문 데이터가 많이 필요하지만 사람이 주석을 다는 비용이 크다. 기존 합성 방법은 지시문 생성 모델과 내비게이션 모델을 따로 두거나 과제 전용 구조를 쓴다. 게다가 고정된 모델로 전체 코퍼스에 주석을 단 뒤에야 정책을 업데이트하므로, 생성된 감독 신호가 발전하는 정책보다 뒤처진다.
방법
Qwen3.5-9B 하나가 지시문 따르기(행동 4개 단위 예측), 지시문 생성(32프레임과 행동 시퀀스 입력), 공간 이해를 모두 맡는다. 먼저 SFT로 기본 능력을 갖춘다. 이후 주석 없는 궤적 데이터를 작은 샤드로 나누고, 샤드마다 현재 모델이 지시문을 생성해 출발점에서 직접 실행한다. 목표 3m 이내 도달과 SPL 임계값을 모두 만족한 쌍만 남긴다. 남긴 쌍은 원래 궤적과 짝지어 지시문 따르기와 생성 양방향의 학습 데이터로 쓰고, 공간 이해 데이터를 다시 섞어(replay) 즉시 모델을 업데이트한 다음 다음 샤드로 넘어간다.
결과
- R2R-CE Val-Unseen 성공률(SR) 68.6%. 같은 표의 waypoint 기반 모델 GridMM(49.0%)과 VLN↻BERT(44.0%)보다 높음
- RxR-CE Val-Unseen 성공률 72.4%. 같은 표의 VLN↻BERT(27.0%)보다 높음
- 재귀적 개선 과정에서 실행 검증을 거친 지시문 따르기 샘플 약 250만 개와 지시문 생성 샘플 약 110만 개를 만들었음
- SFT 초기 모델 대비 공간 이해 벤치마크 4종(VSI-Bench, ScanQA, SQA3D, MindCube)에서 소폭 개선했다고 보고했다
한계
원본 궤적은 오프라인 데이터로 고정되어 있어 엄밀한 On-policy 학습은 아니다(저자들은 '정책 동기화'라고 부른다). 실행된 궤적이 아니라 원래 궤적을 감독 신호로 쓰므로 개선 대상은 언어 감독에 집중된다. 평가는 Habitat 기반 시뮬레이션 환경에 한정된다. 제공된 본문이 잘려 최신 기준선과의 세부 비교와 ablation 수치는 확인하지 못했다.
의미
모델이 스스로 만든 데이터를 실행으로 검증하고 바로 학습에 반영하는 루프를 보여 준다. 사람 주석이 비싼 임베디드 AI 분야에서 데이터 중심의 자기 개선 방법으로 참고할 만하다.
핵심 용어
- VLN-CE
- 연속 환경에서의 비전-언어 내비게이션이다. 에이전트가 자연어 지시를 따라 전진·회전 같은 저수준 행동으로 목표 지점까지 이동한다.
- SPL(Success weighted by Path Length)
- 목표에 도달했는지와 경로가 최단 경로에 얼마나 가까운지를 함께 반영한 내비게이션 효율 지표다.
- 재귀적 자기 개선(RSI)
- 모델이 다음 버전의 학습 데이터를 직접 만들고 걸러서, 개선된 모델이 다시 더 나은 데이터를 만드는 반복 과정이다.
원문
저자: Songze Li, Haoming Gu, Ziyang Gong, Zhitong Wang, Gengze Zhou, Zun Wang, Yuhan Zhu, Tianxiang Jiang, 외 · 게시 2026-10-11 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.