월드 모델: 세상을 머릿속에서 시뮬레이션하기

왜 필요했나: 시행착오만으로 배우는 방식의 한계

강화학습(보상을 받으며 시행착오로 행동을 익히는 방법)의 기본 방식은 환경 안에서 직접 움직여 보며 무엇이 좋은 행동인지 알아내는 것이다. 이렇게 환경의 작동 원리를 따로 배우지 않고 행동만 익히는 방식을 '모델 프리(model-free)'라고 부른다. World Models논문는 이 방식의 약점을 짚는다. 어떤 행동이 나중의 보상에 얼마나 기여했는지 따지는 '신용 할당(credit assignment)' 문제 때문에, 수백만 개 가중치를 가진 큰 신경망을 학습시키기 어렵다. 그래서 실무에서는 빨리 수렴하는 작은 네트워크를 쓰는 경우가 많았고, 이 논문은 전형적인 모델 프리 강화학습 모델의 파라미터 규모를 1천~100만 개 수준으로 들었다.

두 번째 한계는 범용성이다. DreamerV3논문에 따르면 강화학습 알고리즘을 비디오 게임에서 로봇처럼 새로운 분야로 옮기려면 하이퍼파라미터(학습 설정값)를 다시 다듬는 데 상당한 전문성과 계산 자원이 든다. 분야마다 전용 알고리즘을 따로 만드는 일이 흔했다.

세 번째는 현실의 비용이다. 로봇이 실제 물건을 수천 번 떨어뜨리며 배우게 하기는 어렵다. 이런 이유로 '세상이 어떻게 돌아가는지 먼저 배우고, 그 안에서 미리 연습하자'는 생각이 힘을 얻었다. 이것이 월드 모델이다.

핵심 아이디어: 머릿속 시뮬레이터

World Models논문는 야구 타자를 예로 든다. 시속 160km로 날아오는 공을 칠지 말지 정하는 시간은 눈으로 본 신호가 뇌에 도착하는 시간보다도 짧다. 그래도 칠 수 있는 이유는 공이 언제, 어디로 올지 머릿속 모델로 미리 예측하기 때문이라는 설명이다. 이 논문은 시스템 다이내믹스 연구자 포레스터의 말도 인용한다. 우리가 머릿속에 지닌 세상의 모습은 세상 전체가 아니라, 몇 가지 개념과 그 관계만 골라 담은 '모델'이라는 것이다.

월드 모델은 AI에게 이런 머릿속 모델을 주려는 시도다. 핵심은 두 가지다. 첫째, 화면의 모든 픽셀을 기억하는 대신 중요한 내용만 담은 작은 요약(잠재 Representation)으로 바꾼다. 둘째, '지금 상태에서 이 행동을 하면 다음 상태는 어떻게 될까'를 예측한다. 이 두 가지가 갖춰지면 실제로 움직이지 않고도 여러 행동의 결과를 미리 굴려 볼 수 있다.

비유하자면 월드 모델은 개인용 비행 시뮬레이터다. 다만 사람이 물리 법칙을 직접 코딩해 넣는 일반 시뮬레이터와 달리, 관찰 데이터를 보고 스스로 시뮬레이터를 학습한다는 점이 다르다. 그래서 디지털 트윈(실제 대상을 소프트웨어로 복제한 모델)과 비슷해 보이지만, 규칙을 데이터에서 배운다는 점에서 출발이 다르다.

어떻게 작동하나: 압축 → 예측 → 상상 속 연습

World Models논문는 에이전트를 세 부분으로 나눈다. V(Vision)는 매 순간의 이미지 프레임을 작은 잠재 벡터로 압축한다. 여기에는 VAE(변분 오토인코더, 입력을 압축했다가 다시 복원하며 요약을 배우는 신경망)가 쓰였다. M(Memory)은 RNN(순환 신경망) 기반으로, 과거 정보를 바탕으로 다음 잠재 벡터를 예측한다. 환경이 확률적이므로 값 하나가 아니라 확률 분포를 내놓는다. C(Controller)는 V와 M이 만든 Representation만 보고 행동을 고르는 아주 작은 모델이다. 큰 월드 모델이 표현력을 맡고 작은 컨트롤러가 신용 할당이라는 어려운 문제를 좁은 탐색 공간에서 푸는 분업 구조다.

DreamerV3논문는 같은 생각을 더 다듬었다. 인코더가 감각 입력을 확률적 Representation으로 바꾸고, 순환 상태를 가진 시퀀스 모델이 과거 행동을 받아 다음 Representation을 예측한다. 이 상태에서 보상과 '에피소드가 계속되는지'까지 예측하며, 입력을 복원하도록 학습시켜 Representation이 쓸모 있는 정보를 담게 한다. 그 위에서 Critic(각 결과의 가치를 매기는 신경망)과 Actor(가장 가치 있는 결과로 가는 행동을 고르는 신경망)가 월드 모델이 상상해 낸 Trajectory로 학습한다.

순서로 정리하면 이렇다. ① 실제 환경에서 관찰을 모은다. ② 관찰을 압축하고 다음 상태를 예측하도록 월드 모델을 학습한다. ③ 월드 모델 안에서 여러 행동을 상상으로 굴려 보며(Rollout) 정책을 연습한다. ④ 연습한 정책을 실제 환경에서 실행하고, 새 관찰을 다시 모은다. World Models논문는 극단적으로 에이전트를 월드 모델이 만든 '꿈' 속에서만 학습시킨 뒤 실제 환경으로 옮기는 것도 가능하다고 보였다.

발전 흐름: 게임 속 꿈에서 실제 로봇 팔까지

World Models2018 논문는 1990~2015년 사이 RNN 기반 월드 모델과 컨트롤러를 결합한 일련의 연구에서 핵심 개념을 추려, 단순한 틀로 실험해 보인 논문이다. 비지도 방식(정답 라벨 없이)으로 환경의 공간·시간 Representation을 빠르게 배우고, 그 특징을 입력으로 쓰면 아주 작고 단순한 정책으로도 과제를 풀 수 있음을 보였다. 꿈속 학습과 현실로의 이전이라는 그림을 대중적으로 알린 출발점이다.

DreamerV32023 논문는 '어떤 분야든 설정을 바꾸지 않고 쓸 수 있는가'라는 질문에 답했다. 정규화, 균형 맞추기, 값 변환 같은 안정화 기법 덕분에 하나의 고정된 설정으로 150개가 넘는 다양한 과제에서 전문 알고리즘들을 앞섰다. 사람 데이터나 단계별 커리큘럼 없이 마인크래프트에서 처음부터 다이아몬드를 모은 첫 알고리즘이라는 점도 내세웠다. 모델이 클수록 점수가 높고, 과제를 푸는 데 필요한 환경 상호작용도 줄었다고 보고했다.

V-JEPA 22025 논문는 데이터의 출처를 바꿨다. JEPA(결합 임베딩 예측 아키텍처, 픽셀 대신 Representation 공간에서 예측하는 구조) 방식으로 먼저 100만 시간이 넘는 인터넷 영상에서 행동 정보 없이 사전학습했다. 그다음 Droid 데이터셋의 라벨 없는 로봇 영상 62시간 미만으로 행동 조건부 월드 모델(V-JEPA 2-AC)을 사후 학습했다. 이 모델을 두 실험실의 Franka 로봇 팔에 그대로 올려, 목표 이미지를 주고 계획하는 방식으로 물건을 집어 옮기게 했다. 해당 환경의 로봇 데이터 수집, 과제 전용 학습, 보상 설계 없이 이뤄진 결과다. 동작 이해에서도 Something-Something v2 top-1 정확도 77.3을 기록했다.

세 연구를 이어 보면 방향이 보인다. '작은 게임 환경에서 꿈꾸기' → '한 설정으로 여러 분야 정복하기' → '인터넷 규모 관찰로 물리 세계를 배우고 소량의 로봇 데이터로 행동을 붙이기'로 넓어졌다.

요즘 어디로 가고 있나: 규모 확장과 상태 분리

첫 번째 흐름은 사람 데이터로 규모를 키우는 것이다. Ropedia W0논문는 사람과 여러 형태의 로봇을 아우르는 1인칭 시점 이동·조작(loco-manipulation) 월드 파운데이션 모델을 제안했다. 사람 1인칭 데이터 1만 시간과 로봇 데이터 3천 시간을 모은 Xp-Data를 만들고, 이동은 카메라 자세로, 조작은 화면에 투영한 골격으로 나타내는 통일된 운동학 Representation을 썼다. 몸 구조가 제각각인 사람과 로봇의 행동을 같은 언어로 묶기 위한 장치다. 다섯 개의 교차 신체(cross-embodiment) 벤치마크에서 최고 성능을 냈고, 사람 데이터로 사전학습을 늘릴수록 사람·로봇 평가 모두에서 성능이 올랐다고 보고했다. Distillation(큰 모델의 능력을 작은 모델로 옮기는 기법)을 거친 뒤에는 수 분 길이의 Rollout을 실시간으로 만들어 VR 상호작용까지 지원하며, 정책 평가·모델 기반 계획·World Action Model 같은 용도를 보였다.

두 번째 흐름은 '보이는 것'과 '실제 상태'를 나누는 설계다. 영상 생성형 월드 모델은 이미지 한 장에서 행동에 따른 영상을 만들어 내지만, State World Models논문는 결과가 현재 화면에 보이지 않는 숨은 상태에 달려 있을 때 규칙이 지켜지지 않는다고 지적했다. 이 연구의 Stateful Harness는 정해진 규칙에 따라 세계 상태를 따로 유지하고, 그 결과로 생긴 사건만 고정된 영상 모델로 렌더링한다. 초기 화면과 행동은 같지만 숨은 상태가 달라 결말이 달라야 하는 50쌍의 벤치마크(WorldState-Bench)에서, 규칙만 프롬프트로 준 경우 11개 영상 모델 중 가장 좋은 것도 두 결말을 모두 맞힌 쌍이 32%에 그쳤다. MiniMax-H3에 필요한 결말을 명시하자 64%가 됐고, 같은 모델에 전체 하네스를 씌우자 92%까지 올랐다.

두 연구를 함께 보면, 월드 모델이 '그럴듯한 영상을 만드는 모델'에서 '행동을 계획하고 평가할 수 있는 시뮬레이터'로 쓰임새를 넓히고 있음을 알 수 있다. 그만큼 데이터 규모뿐 아니라 상태를 어떻게 정확히 유지하느냐가 중요한 설계 문제가 되었다.

한계와 쟁점

가장 큰 쟁점은 일반화다. 월드 모델로 계획을 세우려면, 학습 때 본 상태·행동 조합 바깥에서도 예측이 맞아야 한다. AnyGoal논문은 이를 '조합 일반화'로 점검했다. 각각의 상태 요소와 행동은 학습 범위 안에 있지만 그 조합은 전문가 Trajectory에 드물게 나오는, 목표를 살짝 바꾼 과제들을 만든 것이다. 여러 환경과 여러 월드 모델 계열에서 현재 모델들이 이런 재조합 앞에서 일관되게 실패했다. 익숙한 조각을 새롭게 맞추는 일, 곧 계획이 가장 필요한 순간에 모델이 흔들린다는 뜻이다.

둘째, 숨은 상태 문제다. 앞서 본 State World Models논문의 결과처럼 영상 모델만으로는 화면에 보이지 않는 상태에 따라 달라지는 결말을 잘 지키지 못했다. 겉보기에 사실적인 영상이 곧 정확한 시뮬레이션은 아니다.

셋째, 안정성이다. DreamerV3논문는 월드 모델을 견고하게 학습하고 활용해 좋은 성능을 내는 일 자체가 오랫동안 풀리지 않은 문제였다고 적었다. 상상 속 Rollout이 길어질수록 작은 예측 오차가 다음 예측의 입력이 되어 쌓일 수 있다는 점도 일반적으로 지적되는 약점이다.

마지막으로 현실 적용의 책임 문제가 있다. 로봇이나 자율주행처럼 사람 곁에서 움직이는 시스템이라면, 월드 모델 안에서 잘 된 계획이 현실에서도 안전하다는 보장은 없다(Sim-to-Real 격차). V-JEPA 2논문의 실제 로봇 실험도 집어 옮기기라는 제한된 과제였다는 점을 감안해 읽어야 한다.

더 공부하려면

처음이라면 World Models논문부터 읽기를 권한다. V·M·C 세 부분으로 나눈 구조가 직관적이고, 야구 타자 비유와 '꿈속 학습' 실험으로 월드 모델이 왜 필요한지 감을 잡기 좋다. 온라인 대화형 버전도 함께 공개되어 있다.

다음으로 DreamerV3논문의 학습 알고리즘 절에서 월드 모델·Critic·Actor가 어떻게 함께 학습되는지 보면, 현대 모델 기반 강화학습의 기본 구조가 잡힌다. 이어서 V-JEPA 2논문를 읽으면 픽셀 대신 Representation 공간에서 예측하는 JEPA 계열이 로봇 계획으로 이어지는 과정을 볼 수 있다.

최신 흐름은 세 편을 함께 읽으면 균형이 맞다. 규모 확장의 가능성은 Ropedia W0논문, 상태와 렌더링을 나누는 설계는 State World Models논문, 그리고 지금 모델이 어디서 무너지는지는 AnyGoal논문이 보여 준다.