SLA: Continual 사전학습으로 확장한 공간-언어-행동(Spatial-Language-Action) 모델

문제

VLA 기반 모델은 2D 이미지-텍스트 사전학습에서 시각 Representation을 물려받는다. 공간 정보는 보통 특정 과제 파인튜닝 단계에서야 추가된다. 깊이 센서 입력을 넣는 방식은 데이터가 노이즈가 많거나 없는 경우가 많고, 모델 구조를 바꿔 사전학습 지식을 해칠 수 있다.

방법

사전학습된 π0.5 정책에서 출발해 행동 예측 손실과 함께 정렬 손실을 쓴다. 이 손실은 VLA 중간 시각 토큰과 고정된 3D 인식 모델(OmniVGGT) 특징 사이의 코사인 유사도를 높인다. 여러 공개 로봇 데이터셋의 상태·행동 표기를 통일한 학습 코퍼스로 Continual 사전학습한 뒤, 후속 파인튜닝에서도 정렬을 유지한다. 특징 의존 게이트로 여러 층의 시각 임베딩을 적응적으로 합친다. Teacher 모델에는 일부만 있는 깊이·카메라 보정 정보도 넣는다. 확률적 상태 드롭아웃으로 시연 Trajectory 과적합을 줄인다. 보조 모듈은 학습에만 쓰이고 추론 구조는 원래 그대로다.

결과

• LIBERO-Plus에서 관측·언어·장면 교란 아래 전체 성공률 87.4%로 비교 기준선을 넘었다고 보고했다.
• RoboTwin 2.0에서 깨끗한 시연만으로 학습해 Clean2Random 설정 성공률 72.3%를 기록했다.
• RoboCasa-Panda에서 과제당 시연 50개만으로 68.4%를 달성했다. 저자들은 과제당 300~3,000개 시연으로 학습한 비교 정책보다 높다고 보고했다.
• RoboDojo-Real에서 세 가지 로봇에 적응한 단일 정책이 33.9%를 기록해 π0.5(12.8%)를 크게 앞섰다.
• 8가지 실제 배치 조건 평균 83.8%로 π0.5보다 24.0%p 높았다. 두 학습 단계 모두에서 정렬하는 방식이 모든 데이터 비율에서 단일 단계 정렬보다 좋았다.

한계

기반 모델은 π0.5 하나만 실험했다. 공간 신호의 질은 고정된 3D Teacher(OmniVGGT)에 의존한다. 제공된 본문에는 각 구성요소의 개별 기여(Ablation)와 기준선별 상세 수치가 일부만 포함돼 있다. 실제 환경 평가는 8가지 조건으로 범위가 제한적이다.

의미

깊이 센서나 추가 모듈 없이 기존 VLA 가중치와 추론 구조를 그대로 쓰면서 3D 공간 이해를 높일 수 있다. 그래서 이미 배포된 로봇 정책을 업그레이드하기가 쉽다. 적은 시연으로도 성능이 나와 현장 데이터 수집 부담을 줄일 수 있다.

핵심 용어

VLA(Vision-Language-Action)

이미지와 언어 지시를 받아 로봇 행동을 직접 출력하는 모델이다.

Continual 사전학습

이미 사전학습된 모델을 대규모 추가 데이터로 더 학습해, 기존 지식을 유지하면서 특정 능력을 키우는 단계다.

Representation 정렬

모델 내부 특징이 외부 Teacher 모델의 특징과 비슷해지도록 보조 손실을 주는 방법이다. 추론 시에는 Teacher가 필요 없다.

상태 드롭아웃

학습 중 로봇 상태 입력을 확률적으로 빼서 모델이 시각 단서에 더 의존하도록 만드는 기법이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 프로젝트
• Hugging Face

저자: Fuhao Li, Wenxuan Song, Qizhou Huang, Ziyang Zhou, Jingbo Wang, Junwu E, Pengwei Wang, Yan Wang, 외 · 게시 2026-11-05 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.