ChronoReplay: 스트리밍 공간 지능에는 하나의 답변 형식만으로는 부족하다

문제

공간 VLM을 한 가지 답변 형식(예: 왼쪽/오른쪽 선택)으로 후학습하면 그 형식에서만 성능이 오르고, 거리 같은 수치형이나 시점 같은 시간형 질의로는 잘 전이되지 않거나 오히려 떨어진다. 저자들은 이를 'interface lock-in'이라 부른다. 또 수치·시간 정답은 그 정답을 만든 과거 관찰 이력(prefix)에서만 의미가 있는데, 질의응답을 독립 쌍으로 떼어 내면 정답이 모호해진다.

방법

Qwen3-VL-8B를 출발점으로 두 단계로 후학습한다. (1) Causal Replay 구성: 선택지·단위·정밀도·타임스탬프 등 정답을 원래 형식 그대로 두고, 다중 라운드 감독을 원본 영상 시간축 순서대로 배치해 각 정답이 유효한 인과적 prefix에 붙어 있도록 한다. (2) Family-balanced learning: 단일 턴 보존 데이터(33,180개)와 수치·시간 Trajectory 데이터(6,381개 에피소드)의 손실을 계열 안에서 정규화한 뒤 1:2 비율(α=0.5)로 섞는다. 별도의 메모리 모듈이나 추가 라벨은 쓰지 않는다. 추론 시에는 학습된 모델을 고정한 채 적응형 프레임 선택을 따로 적용할 수 있다.

결과

• 같은 관찰 조건(Uniform-128)에서 OVO-S-Bench 점수가 기본 Qwen3-VL-8B의 48.98에서 53.89로 올라, 공개된 Qwen3-VL-235B-A22B 참고값(53.64)과 수치상 비슷했다.
• 저자들은 기본 모델 대비 OST-Bench +13.41점, UCS-Bench +7.44점, OVO-S-Bench +4.91점을 보고했고, 비교한 감독 설정 중 세 벤치마크 평균이 가장 높았다.
• 범주형 데이터만으로 학습하면 OVO-S는 58.03에 이르지만 OST는 50.52에서 47.48로 떨어져, interface lock-in 현상을 보였다.
• 시간 순서 재생은 턴 블록 순서를 순환 이동시킨 대조군보다 두 쌍의 시드에서 OST가 약 2.41점 높았다. Family-balanced learning은 일반 joint SFT와 자연 턴 가중보다 나았다.
• 적응형 프레임 선택을 더하면 OVO-S가 57.98(평균 80.5프레임)로 올라, 더 적은 시각 입력으로 추론 단계 이득을 얻었다.

한계

평가는 실내 장면에 한정되어 있어 다른 환경은 검증되지 않았다. 시간 순서 효과는 두 쌍의 시드로만 확인했다. 단일 계열 학습 대조군은 데이터 출처와 과제 범위도 달라서, 성능 차이를 답변 형식만의 효과로 돌리기 어렵다고 저자들이 밝혔다. 실험한 백본 모델은 Qwen3-VL-8B 하나다.

의미

로봇이나 AR 기기는 같은 영상 스트림을 보고 방향·거리·시점을 함께 답해야 한다. 이 연구는 새 아키텍처 없이도 데이터의 형식과 순서, 계열 간 가중치만 바꿔 여러 질의 형식을 함께 개선할 수 있음을 보여, 공간 VLM 후학습 데이터를 설계할 때 참고할 만하다.

핵심 용어

Interface lock-in

한 가지 답변 형식으로 후학습하면 성능 향상이 그 형식에만 몰리고 다른 형식으로는 잘 전이되지 않는 현상을 저자들이 붙인 이름이다.

인과적 prefix(causal prefix)

질문 시점까지 관찰한 프레임과 이전 대화 이력이다. 스트리밍 평가에서는 이 범위만 보고 답해야 한다.

Family-balanced learning

데이터 계열마다 손실을 따로 정규화한 뒤 정해 둔 비율로 섞는 학습 방식이다. 데이터 개수가 많은 계열이 모델을 지배하지 않도록 막는다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Yihao Hu, Yitong Lin, Pan Wang, Zhihao Wen, Hang Wang, Yiwen Zhao, Deyuan Liu, Yutong Li, 외 · 게시 2026-10-25 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.