월드 액션 모델(WAM): 행동과 그 결과를 함께 예측하는 로봇 모델

왜 필요했나: 행동만 배우는 정책의 빈자리

로봇에게 일을 가르칠 때 핵심은 정책(policy)이다. 정책은 카메라 영상과 작업 지시를 보고 다음에 움직일 관절·그리퍼 명령을 내는 함수다. 최근에는 사전학습된 비전-언어 모델 위에 정책을 얹은 VLA(비전-언어-행동 모델)가 널리 쓰인다. 그런데 Forward Dynamics Models 연구논문는 VLA가 미래 세계 상태에 대한 명시적인 감독 없이 학습한다는 점을 한계로 짚는다. 시범 데이터의 행동만 따라 하고, 그 행동이 세상을 어떻게 바꾸는지는 배우지 않는다는 뜻이다.

반대편에는 월드 모델(World model)이 있다. 월드 모델은 '지금 이런 장면에서 이렇게 움직이면 다음 장면은 어떻게 될까'를 예측한다. 다만 World-Action Model 논문논문이 지적하듯 기존 월드 모델은 이미지 예측만으로 학습돼서, 그 내부 표현이 제어에 필요한 구조를 담는다는 보장이 없다. 그림은 잘 그리지만 무엇이 행동과 관련 있는지는 모를 수 있다.

월드 액션 모델(World Action Model, WAM)은 이 둘을 한 모델에 합친다. 행동 예측과 미래 관측 예측을 함께 학습해서, 행동은 미래라는 추가 신호를 얻고 월드 모델은 행동과 관련된 구조를 배우게 하자는 발상이다.

핵심 아이디어: 움직이기 전에 결과를 그려 보는 운전자

숙련된 운전자는 핸들을 꺾기 전에 차가 어느 쪽으로 미끄러질지 머릿속으로 먼저 그린다. 핸들 조작(행동)과 그 결과로 바뀔 풍경(미래 관측)이 머릿속에서 한 덩어리로 묶여 있는 셈이다. WAM은 이 감각을 모델 구조로 옮긴 것이다. DroneWAM 연구논문는 WAM이 후보 행동이 미래 관측을 어떻게 바꿀지 내다보고, 예측된 결과를 바탕으로 행동할 수 있게 해 준다고 설명한다.

중요한 점은 미래 예측이 그 자체로 목적이 아니라는 것이다. 미래를 맞히려면 모델은 '무엇이 움직이고, 내 행동이 무엇을 바꾸는가'를 내부 표현에 담아야 한다. 이렇게 만들어진 표현이 다시 행동 예측을 돕는다. 그래서 WAM 연구에서는 '미래를 얼마나 예쁘게 그리나'보다 '어떤 표현 공간에서 미래를 예측하나'가 계속 핵심 질문으로 등장한다.

아래 비교는 VLA와 WAM이 어디서 출발하고 무엇을 감독 신호로 쓰는지 정리한 것이다. Forward Dynamics Models 연구논문는 VLA가 사전학습된 비전-언어 모델(VLM)을, WAM이 비디오 생성 모델을 각각 출발점으로 삼는다고 정리했다.

어떻게 작동하나: 하나의 몸통, 두 개의 출력

작동 흐름을 단계로 나누면 이렇다. 첫째, 현재 카메라 영상(여러 시점일 수도 있다)과 로봇 상태를 인코더가 표현 공간으로 옮긴다. 둘째, 작업 지시와 함께 공유 백본(모델의 몸통)에 넣는다. 셋째, 백본은 앞으로 몇 스텝의 행동 묶음(행동 청크)과 그 행동 뒤의 미래 상태를 함께 출력한다. 넷째, 로봇은 행동 청크의 앞부분을 실행하고 새 관측을 받아 다시 예측한다. 학습할 때는 시범 데이터의 실제 행동과 실제 미래 장면이 두 출력을 각각 감독한다.

백본을 어떻게 짜느냐에 따라 갈래가 나뉜다. Spatially Aware WAM논문처럼 대규모 사전학습 비디오 디퓨전 모델(잡음을 걷어 내며 영상을 생성하는 모델)을 가져와 행동과 미래 영상을 함께 생성하는 방식이 있다. 인터넷 규모 영상에서 배운 시각·물리 지식을 물려받을 수 있다는 것이 장점이다. Riemann-1.0논문은 관측·로봇 상태·행동을 하나의 인과적 순서열로 이어 붙인 자기회귀 모델(앞의 것을 보고 다음 것을 차례로 예측하는 모델)로 만들었다. DroneWAM논문은 JEPA 구조를 써서 미래 이미지를 직접 그리지 않고 표현 공간에서 미래 상태만 예측한다.

같은 모델을 두 용도로 쓸 수 있다는 점도 특징이다. Riemann-1.0논문은 하나의 모델이 실행 가능한 로봇 정책이자, 행동을 넣으면 미래 장면을 보여 주는 시뮬레이터 역할을 함께 한다고 밝혔다. World-Action Model 논문논문은 학습된 월드 모델을 고정한 채 그 안에서 PPO 강화학습으로 정책을 다듬는 방식, 즉 상상 속 연습을 보여 줬다.

발전 흐름: 미래를 무엇으로 표현할 것인가

World-Action Model 논문논문은 기존 월드 모델인 DreamerV2에 역동역학 목표, 즉 '두 잠재 상태 사이의 변화를 보고 어떤 행동이 있었는지 맞히는' 과제를 더했다. 이렇게 하면 표현이 행동과 관련된 구조를 담게 된다. CALVIN 벤치마크의 조작 과제 8개에서 행동 복제(시범을 그대로 따라 배우기) 평균 성공률이 59.4%에서 71.2%로 올랐다. 모델 안에서 PPO로 파인튜닝한 뒤에는 기준선 79.8%에 비해 92.8%를 기록했고, 학습 스텝은 8.7배 적었다.

JOPAT논문은 픽셀 예측의 약점을 정면으로 다뤘다. 픽셀을 예측하면 움직임과 조명·질감 같은 방해 요소가 뒤섞인다. 그래서 잠재 영상, 가시성 정보를 포함한 2D 점 추적(Point Track), 행동을 하나의 디퓨전 트랜스포머에서 함께 예측했다. 점 추적은 움직임을 명시적으로 담고 가려짐이나 화면 밖 이동에도 버틴다. 가려짐·물체 상호작용·화면 밖 움직임이 있는 긴 과제에서 개선 폭이 가장 컸다고 보고했다.

8~9월에는 표현과 규모가 넓어졌다. Spatially Aware WAM논문은 RGB에 깊이(Depth)를 더했다. 깊이 값을 비선형으로 변환해 고정된 VAE 토크나이저가 받아들이는 범위에 맞추는 방식이라, 3D 전용 파인튜닝 없이 사전학습 지식을 그대로 살렸다. ReWAM논문은 통제 비교를 통해 '복원을 잘하는 표현'도 '사전학습된 지각 특징'도 그것만으로는 좋은 정책을 보장하지 않는다는 결론을 냈다. 그래서 DINO 특징을 압축된 세계 상태로 정리하고, 표현 병목에는 행동 손실의 그래디언트만 흘려보냈다. 표현이 무엇을 담을지는 정책이 정하고, 그 표현이 어떻게 변하는지는 월드 모델이 배우게 나눈 것이다. 비디오 생성 사전학습 없이 RoboTwin 2.0에서 93.6%를 기록했다.

규모 면에서는 Riemann-1.0논문이 20만 시간 이상의 상호작용 데이터를 썼다. 사람 시점 영상, 손에 드는 그리퍼 시범, 여러 로봇의 Trajectory를 같은 목표 아래 단계적으로 학습했고, RoboTwin2.0 94.3%, LIBERO 99.0%, 긴 복합 과제 벤치마크 RoboCasa-365 62.6%를 보고했다. 로봇 팔 밖으로도 넓어졌다. DroneWAM논문은 드론 시각 항법에 WAM을 적용하면서, 장면에 따라 미래를 몇 스텝까지 상상할지 정하는 '적응형 Rollout'을 도입해 평균 예측 깊이를 8에서 4.58로 줄이고도 Trajectory 정확도를 높였다.

요즘 어디로 가고 있나: 더 작게, 더 빠르게, 필요할 때만

2026년 10월 연구들은 비용 문제에 집중한다. MiniWAM논문은 사전학습 시각 백본의 고차원 특징을 그대로 미래 목표로 삼으면 학습 비용이 크다는 점을 문제로 봤다. 그래서 역동역학 감독과 특징 복원을 결합한 PRISM 인코더로 제어에 중요한 전이 정보만 담은 압축 목표를 만들었다. 미래 특징 토큰을 65배 줄이고도 원래 특징을 예측하는 방식보다 성능이 좋았고, 학습은 최대 8배 빨랐다. 0.25B 파라미터로 훨씬 큰 WAM과 경쟁할 수준이라고 보고했다.

SmolWAM논문은 엣지 기기를 겨냥했다. 2B 파라미터 Cosmos Policy를 Teacher 모델로 삼아 28개 트랜스포머 블록 중 12개만 남기고 입력 인터페이스를 다시 짰다. LIBERO 400개 에피소드 중 95.5%를 성공했고, 16개 행동 묶음을 57ms, GPU 메모리 2.4GiB로 처리했다. Teacher보다 11배 빠르고 메모리는 3.2배 적게 쓰면서도 미래 장면의 움직임을 예측하는 능력은 남아 있다고 밝혔다.

Forward Dynamics Models 연구논문는 방향을 뒤집었다. 미래를 먼저 예측하고 그걸 보고 행동을 정하면 추론이 느려지고 예측 오차가 행동으로 번진다. 그래서 미래 예측이 행동 특징을 조건으로 받게만 하고 그 반대는 막았다. 학습 때는 실제 미래가 행동 특징을 통해 정책을 감독하지만, 추론 때는 미래 생성을 통째로 건너뛴다. LIBERO 평균 99.4%, 실제 로봇 과제에서 VLA·WAM 방식 대비 최대 13% 절대 향상을 보고했다. 정리하면, 미래 예측은 '추론 때 꼭 돌려야 하는 부품'에서 '학습을 돕는 신호'로 역할이 옮겨 가는 흐름이 보인다.

한계와 쟁점

첫째, 표현 선택에 정답이 없다. ReWAM논문이 보여 줬듯 복원 품질이 높다고 정책이 좋아지지 않는다. Spatially Aware WAM논문은 월드 모델의 예측 품질과 실제 Rollout 성공 사이의 상관을 따로 분석했는데, 이는 '미래를 잘 그리는 것'과 '일을 잘하는 것'이 저절로 같아지지 않는다는 문제의식을 보여 준다.

둘째, 비용과 오차 전파다. 비디오 디퓨전 기반 WAM은 강력하지만 무겁다. SmolWAM논문은 가장 강한 모델들이 엣지 기기에서 돌리기에는 계산 비용이 너무 크다고 지적했고, Forward Dynamics Models 연구논문는 예측된 미래를 조건으로 행동을 정하면 시각 예측 오차가 행동으로 번진다고 짚었다.

셋째, 보안이다. TAPDreamer논문는 공개 인코더만으로 만든 고정 패치를 카메라 입력에 붙이는 적대적 예제 연구다. 공격 대상 모델에 질의하지 않고도 과제와 행동 구조를 가리지 않고 통했다. 입력의 약 6.5%를 덮는 패치 하나로 FastWAM의 성공률이 LIBERO 40개 과제에서 97.7%→0.0%, RoboTwin 50개 과제에서 90.86%→0.0%로 떨어졌다. 같은 크기의 무작위 패치로는 81.5%와 79.2%가 유지됐다. 여러 과제가 같은 시각 인코더를 공유하는 구조라서, 인코더 하나가 흔들리면 모두가 함께 흔들릴 수 있다는 뜻이다.

넷째, 수치를 읽는 법이다. 이 글의 성공률 대부분은 LIBERO·RoboTwin·CALVIN 같은 시뮬레이션 벤치마크에서 나왔고, LIBERO에서는 여러 모델이 이미 99% 근처에 몰려 있다. 실제 환경 평가는 연구마다 과제와 조건이 달라 직접 비교하기 어렵다. 벤치마크 점수를 실제 현장 성능으로 바로 옮겨 읽어서는 안 된다.

더 공부하려면

개념부터 잡으려면 World-Action Model 논문논문이 좋다. 익숙한 월드 모델(DreamerV2)에 역동역학 목표 하나를 더한 구조라서 '왜 행동 신호가 표현을 좋게 만드나'를 가장 단순하게 보여 준다. 그다음 JOPAT논문과 ReWAM논문을 이어 읽으면 '픽셀 말고 무엇을 예측해야 하나'라는 이 분야의 중심 질문이 잡힌다.

큰 그림이 궁금하면 Riemann-1.0논문과 Spatially Aware WAM논문을 본다. 앞의 것은 자기회귀 방식과 대규모 데이터를, 뒤의 것은 사전학습 비디오 디퓨전 모델을 재활용하는 방식을 대표한다. 로봇 팔 밖으로의 응용과 JEPA식 잠재 예측은 DroneWAM논문이 잘 보여 준다.

최신 흐름은 MiniWAM논문, SmolWAM논문, Forward Dynamics Models논문 순으로 읽으면 '압축 → 경량화 → 추론 때 미래 생략'의 흐름이 보인다. 실제 배치를 고민한다면 TAPDreamer논문를 꼭 함께 읽어 견고성 문제를 미리 확인하는 것이 좋다.