DreamX: 비디오 확산 모델은 범용 잠재 행동 학습기다

문제

사람 영상에는 로봇 행동 라벨이 없고, 로봇끼리도 제어 공간이 달라 행동 라벨을 공유하기 어렵다. 기존 잠재 행동 모델은 프레임 쌍의 변화로 행동을 추론하는데, 그 표현에 시점이나 장면 외형 같은 시각 정보가 섞여 다른 Embodiment로 잘 옮겨가지 않는다.

방법

Cosmos-Predict2.5 2B 비디오 확산 모델의 영상 토큰 옆에 학습 가능한 쿼리 토큰을 붙인다. 쿼리는 시공간 어텐션을 거치며 각 잠재 프레임의 변화를 토큰 4개로 요약한다(1,200→4, 300배 압축). 같은 백본으로 초기화한 디코더는 텍스트 대신 이 잠재 행동과 첫 프레임만 보고 미래 영상을 복원한다. 라벨이 있으면 로봇 행동도 보조 과제로 함께 디코딩한다. 첫 프레임이 외형을, 생성 사전지식이 세부 시각 정보를 맡기 때문에 잠재 행동은 움직임에 집중하도록 유도된다. 로봇·사람 영상을 섞어 LoRA로 학습했고, 정책 학습을 위해 변분 병목으로 압축한 코드를 예측 대상으로 쓴다.

결과

• LARYBench 행동 회귀(정규화 MSE)에서 평균 0.17을 기록했다. 기존 최고인 DiLA는 0.38, MoTo는 0.44였다.
• LARYBench 행동 분류 정확도는 평균 69.67%로, DiLA(62.25%)와 MoTo(51.01%)보다 높았다.
• 저차원 코드로 압축한 버전(FAE-32)도 회귀 0.22, 분류 67.15%로 기존 방법들보다 좋았다.
• 저자들은 쌍 학습 데이터 없이 사람 영상의 움직임을 다른 장면·Embodiment의 영상이나 로봇 행동으로 옮기는 것이 가능하다고 보고했다.

한계

제공된 본문에서는 영상·행동 전이 결과가 주로 정성 예시로 제시되고, 정책 학습 성능 수치는 잘려 있다. 실험은 2B 규모의 Cosmos 백본 하나에만 기반한다. 행동 디코딩에는 일부 로봇 행동 라벨을 보조 지도로 사용했다.

의미

로봇 데이터 수집은 비싸고, 사람 영상은 많지만 라벨이 없다. DreamX는 비디오 생성 모델을 '행동 인코더'로 재활용해 둘을 잇는 공통 행동 인터페이스를 제안한다. VLA·월드 모델 학습 데이터를 넓히는 데 유용한 방향이다.

핵심 용어

잠재 행동(Latent action)

행동 라벨 없이 영상 속 연속 프레임의 변화로부터 학습한 압축된 행동 표현이다.

Embodiment

행동을 수행하는 몸체의 형태다. 사람 손, 로봇 팔 종류처럼 제어 방식이 서로 다른 신체를 가리킨다.

학습 가능한 쿼리 토큰

백본 특징에서 필요한 정보만 모아 요약하도록, 입력 시퀀스에 추가해 함께 학습시키는 토큰이다.

Flow matching

노이즈와 데이터 사이의 이동 속도장을 학습해 샘플을 생성하는 확산 계열 학습 목표다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 프로젝트
• Hugging Face

저자: Jisoo Kim, Chaehyun Kim, Junsu Kim, Jiho Park, Seongchan Kim, Eunbeen Hong, Soowon Son, Fu-En Yang, 외 · 게시 2026-11-03 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.