PDRVLA: 물리 동역학 Representation을 갖춘 VLA 모델

문제

VLA 모델은 물체가 상호작용 중에 어떻게 움직이고 바뀌는지에 대한 물리적 이해가 약하다. 비디오 월드 모델로 미래 영상을 생성하면 장면 동역학을 반영할 수 있지만, 제어 루프 안에서 영상을 만들면 지연이 커진다.

방법

경량 Physical Dynamics Module이 VLM 중간 특징에서 고정 개수의 물리 토큰을 뽑는다. Action expert는 이 토큰과 VLM 최종층 특징을 함께 써서 행동을 생성한다. 물리 토큰은 미래 RGB·깊이·광류 잠재 특징을 직접 예측하도록 학습하고, 이 토큰을 조건으로 받는 고정된 사전학습 비디오 월드 모델이 보조 감독을 준다. 배포 시에는 영상 생성기를 돌리지 않는다. 학습 데이터는 모두 공개 데이터다. 실제 로봇, UMI, 시뮬레이션 Trajectory와 VL 데이터를 합치고, EgoDex 사람 영상을 12종 로봇 팔 시연으로 바꾼 합성 데이터(약 0.9M Trajectory), 서브태스크 라벨, ECoT 주석을 더했다.

결과

• LIBERO 성공률 99.3%, LIBERO-Plus 89.9%, RoboTwin 2.0 93.6%, SimplerEnv 81.5%를 보고했다.
• Ablation에서 월드 모델 보조 감독을 쓰면 미래 예측 성능이 좋아졌다.
• 서브태스크 조건화, 미래 물체 자세 감독, ECoT 학습이 행동 성공률에 미치는 영향도 따로 분석했다. 제공된 본문 범위에는 기준 모델과의 수치 비교가 포함되지 않았다.

한계

평가가 모두 시뮬레이션 벤치마크로, 실제 로봇 성능은 확인되지 않았다. 제공된 본문에는 기존 VLA와의 비교 수치와 ablation 세부 수치가 잘려 있다. 데이터 규모가 커서 물리 토큰의 기여와 데이터 효과를 완전히 분리하기 어렵다. 자동 서브태스크·ECoT 주석에는 VLM 라벨 오류가 섞일 수 있다.

의미

월드 모델의 '미래를 내다보는' 능력을 추론 지연 없이 로봇 정책에 넣는 실용적인 절충안이다. 공개 데이터만으로 대규모 교차 embodiment 학습 데이터를 구성하고 사람 영상을 로봇 데이터로 바꾸는 파이프라인도 자세히 공개해 재현성 측면에서 참고할 만하다.

핵심 용어

VLA(Vision-Language-Action)

카메라 영상과 언어 지시를 받아 로봇 행동을 직접 출력하는 모델이다.

물리 토큰

VLM 특징에서 뽑아 미래 외관·형상·움직임 정보를 담도록 학습한 압축 토큰이다. 행동 생성의 추가 조건으로 쓴다.

ECoT(Embodied Chain-of-Thought)

장면 설명, 과제 진행 상황, 다음 동작을 언어로 풀어 쓴 로봇용 추론 주석이다.

UMI

손에 드는 그리퍼와 손목 카메라로 시연을 수집하는 방식이다. 특정 로봇에 묶이지 않는 엔드이펙터 Trajectory를 얻는다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Hanqing Wang, Zhaotian Cai, Ruichuan An, Bohan Zeng, Tao Zhang, Yilin Chen, Xu Jiang, Kaiquan Chen, 외 · 게시 2026-10-27 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.