논문 리뷰 · 2026년 10월 22일
Ropedia W0: 사람의 1인칭 경험으로 여러 로봇에 걸친 이동·조작 월드 모델 확장하기
Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience
카메라 포즈와 투영된 골격으로 사람과 로봇의 동작을 하나의 형식으로 통일하고 1만 3천 시간 데이터로 학습해, 여러 로봇에 쓸 수 있는 1인칭 이동·조작 월드 모델을 만들었다.
문제
기존 로봇 월드 모델은 고정된 팔과 그리퍼 조작에 집중해, 걸어 다니며 바뀌는 시점이나 손가락 단위 조작을 잘 다루지 못한다. 로봇마다 행동 공간이 달라 새 로봇이 나올 때마다 전용 인터페이스나 추가 적응이 필요하다. 공개된 1인칭 사람 영상 데이터는 카메라 궤적과 손 포즈 주석이 빠져 있거나 부정확한 경우가 많다.
방법
14개 공개 사람 데이터셋, 6,000시간 이상의 자체 4-어안 카메라 녹화, 13개 로봇 데이터셋을 모아 Xp-Data(사람 약 1만 시간, 로봇 약 3천 시간)를 구축했다. VLM 필터링, SLAM 기반 카메라 궤적 추정, 손 포즈 추정, 로봇 키포인트 수작업 주석·보정, 다단계 품질 검사를 거쳤다. 이동은 Plücker-ray 카메라 맵으로, 조작은 이미지에 투영한 골격 렌더링으로 표현해 사람·그리퍼·휴머노이드를 같은 조건 형식으로 묶었다. Wan2.2 기반 비디오 확산 Transformer(5B 및 A14B MoE)에 이 조건을 더해 미래 1인칭 영상을 예측한다. 이후 Distillation으로 실시간 생성을 가능하게 했다.
결과
- 저자들은 DreamDojo, Ψ0, ω-HOME, Xp-Teleop, AgiBot 다섯 개 교차 embodiment 벤치마크와 별도의 사람 1인칭 영상에서, zero-shot부터 전체 데이터 사후 학습까지 최고 성능을 냈다고 보고했다.
- 사람 영상 사전학습 데이터를 늘릴수록 사람 영상과 로봇 영상 예측 성능이 모두 좋아졌다.
- Distillation 후 1분 길이의 실시간 Rollout과 VR 실시간 상호작용이 가능했다.
- 정책 평가(순위 매기기), 모델 기반 계획, world-action 모델 초기화 같은 응용에서 유용성을 시연했다.
한계
확인한 본문 범위에서는 벤치마크별 구체적 수치를 볼 수 없어, 성능 우위의 크기는 원문 표로 확인해야 한다. 로봇 골격 정렬에 상당한 수작업 주석이 들어가 새 로봇으로 확장할 때 비용이 든다. 자체 벤치마크 Xp-Teleop은 약 1시간 분량으로 규모가 작다.
의미
비싼 로봇 데이터 대신 풍부한 사람 1인칭 영상으로 로봇용 월드 모델을 키울 수 있다는 근거를 데이터 규모 확장 실험으로 제시했다. 로봇 종류에 상관없이 쓰는 공통 조건 인터페이스는 휴머노이드 정책 평가와 계획에 실용적이다.
핵심 용어
- 월드 모델
- 현재 관측과 행동이 주어지면 다음에 세상이 어떻게 보일지 예측하는 모델이다. 로봇이 행동 결과를 미리 상상하는 데 쓴다.
- Loco-manipulation
- 걷거나 이동하는 동작(locomotion)과 물체를 다루는 조작(manipulation)을 동시에 수행하는 것이다.
- Plücker-ray 맵
- 각 픽셀이 바라보는 3D 광선의 방향과 위치를 6채널 이미지로 표현한 것으로, 카메라 움직임을 영상 모델에 픽셀 단위로 알려 준다.
- Cross-embodiment
- 사람, 그리퍼 로봇, 휴머노이드처럼 몸 구조가 다른 주체들에 하나의 모델을 공통으로 쓰는 것이다.
원문
저자: Tianqi Liu, Hanfei Zhao, Qifeng Liang, Hui En Pang, Jiarui Xu, Sayang Mu, Penghao Qiu, YingSheng Zhang, 외 · 게시 2026-10-19 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.