드리밍(Dreaming): AI가 '오프라인'에서 배우는 법

왜 필요했나: 깨어 있는 동안만 배우는 학습의 한계

보통의 학습은 '데이터를 보면 그 자리에서 가중치를 고친다'는 한 단계로 이뤄진다. 이 방식에는 세 가지 빈틈이 있다. 첫째, 기억이 쌓일수록 서로 간섭한다. 연상 기억의 대표 모델인 홉필드 망은 헤브 규칙(함께 켜지는 뉴런끼리 연결을 강하게 하는 규칙)으로 패턴을 저장하는데, 패턴을 너무 많이 넣으면 어느 것도 되살리지 못하는 파국적 망각이 일어난다고 클리핑 홉필드 연구논문는 설명한다.

둘째, 실제 경험은 비싸다. 로봇이 물건을 쥐어 보거나 드론이 현장을 날며 영상을 모으는 일은 시간과 사람 손이 든다. 셋째, 경험은 쌓이기만 하고 정리되지 않는다. 코딩 에이전트가 수많은 작업을 하더라도 그 기록이 다음 작업에 쓸 수 있는 형태로 바뀌지 않으면 같은 실수를 되풀이한다.

드리밍은 이 세 문제에 같은 답을 내놓는다. 실제 세계와 상호작용하지 않는 별도의 시간을 두고, 그동안 모델이 스스로 만든 신호나 쌓아 둔 기록을 다시 처리하게 하자는 것이다. 이름은 사람의 수면과 꿈에서 따왔지만, 실제로는 '언제, 무엇을 재료로, 어떤 방향으로 모델을 고치나'를 정하는 공학적 설계다.

핵심 아이디어: 낮에 겪고, 밤에 정리한다

비유하자면 운동선수의 하루와 비슷하다. 낮에는 실제 경기를 뛰고, 밤에는 경기 영상을 돌려 보며 머릿속으로 다음 경기를 그려 본다. 영상 속에서 잘못된 습관은 지우고, 상상 속에서는 실제로 해 보기 어려운 상황을 연습한다. 드리밍에서 '낮'은 실제 데이터를 받는 단계, '밤'은 모델 내부에서 신호를 만들어 내거나 되돌려 보는 단계다.

입력 연구들을 보면 꿈 단계가 하는 일은 크게 네 가지로 나뉜다. 지우기형은 꿈에서 나온 패턴을 일부러 덜 기억하게 해 간섭을 줄인다(홉필드 계열). 연습형은 월드 모델(세상이 어떻게 변할지 예측하는 모델) 안에서 상상한 경험으로 행동을 배운다. 예측형은 학습 중 미래의 감각을 미리 맞히게 해서 더 좋은 Representation을 얻는다(로봇 촉각). 정리형은 쌓인 기록에서 재사용할 지식을 뽑아 정리한다(LLM 에이전트).

이 넷이 공유하는 설계 선택은 '실제 경험 대신 계산을 쓴다'는 맞교환이다. 다층 연상 기억 연구논문는 이를 이론적으로 보여 주는데, 데이터의 무질서도와 '자는 시간'을 두 축으로 놓은 상 그림에서 데이터와 계산 사이의 맞교환이 드러난다고 밝혔다. 데이터가 부족하거나 지저분할수록 오프라인 정리에 더 많은 계산을 들여 메울 수 있다는 뜻이다.

어떻게 작동하나: 깨어 있음과 꿈의 반복 고리

드리밍 시스템은 대체로 다음 순서로 돈다. 1) 깨어 있는 단계에서 실제 데이터나 경험을 받는다. 2) 이를 기억(가중치, 경험 저장소, 기록 저장소)에 쌓는다. 3) 꿈 단계에서 그 기억을 바탕으로 신호를 만들어 낸다. 무작위 패턴일 수도, 월드 모델이 펼친 상상 Rollout일 수도, 미래 촉각 예측일 수도 있다. 4) 만든 신호를 걸러내거나 표시한다. 5) 그 결과로 모델을 고친다. 지우거나, 강화하거나, 따로 정리한다. 그리고 다시 1)로 돌아간다.

지우기형의 원리는 이렇다. 홉필드 망이 꿈 단계에서 무작위로 내놓는 상태는 저장된 패턴들이 뒤섞여 생긴 '가짜 기억'에 가깝다. 이를 반대로 학습(언러닝)하면 여러 패턴이 공통으로 만드는 간섭이 줄어든다. 다층 연상 기억 연구논문는 이를 더 정확히 말한다. 꿈은 데이터 상관 행렬에서 고유값이 큰, 즉 여러 패턴이 겹쳐 강하게 울리는 간섭 방향을 골라서 약하게 만들고, 신호 자체는 보존한다.

연습형과 예측형은 방향이 반대다. 지우는 대신 모델이 만든 미래를 학습 재료로 쓴다. 이때 중요한 단계가 4)다. 꿈은 틀릴 수 있으므로, 검증된 기록만 쓰거나(스킬 드리밍), 꿈임을 표시하고 시간을 두고 격리하거나(Dream Layer), 사람이 골라내는(월드 모델 데이터 연구) 장치가 함께 붙는다.

발전 흐름: 연상 기억에서 에이전트까지

기억 이론 쪽에서는 세 연구가 꿈의 '기능'을 다뤘다. 계산 모델 연구논문는 해마에서 무작위로 켜지는 신호만으로도 학습과 기억 공고화가 일어날 수 있음을 시뮬레이션으로 보이며, 꿈을 낮 동안의 처리가 이어지는 과정으로 봤다. '꿈 내용이 무작위면 쓸모없다'는 주장에 대한 반론이다. 클리핑 홉필드 연구논문는 연결 강도에 상한을 두는 클리핑이 파국적 망각을 없애지만 대신 최근 기억만 남기고 용량이 크게 줄어든다는 문제에서 출발했다. Hopfield·Feinstein·Palmer의 제안을 따라 무작위 패턴을 만들고 언러닝하는 꿈 단계를 학습과 번갈아 두자 저장 용량이 늘었다. 다층 연상 기억 DLAM논문은 꿈과 층 사이 연결(서로 다른 감각을 짝짓는 학습)을 하나의 에너지 함수에 넣었고, 둘이 함께 있을 때 어느 하나만으로는 닿지 못하는 영역에서도 기억을 되살렸다. 여러 감각이 섞인 단서를 주면 층마다 하나씩 원래 패턴을 갈라내는 모습도 보였다.

월드 모델과 로봇 쪽에서는 꿈이 '상상으로 연습하기'가 된다. 확률적 드리밍 연구논문는 상상한 경험으로 배우는 Dreamer 모델을 개선해, 여러 잠재 상태를 병렬로 탐색하고 서로 배타적인 미래 가설을 따로 유지하게 했다. MPE SimpleTag 환경에서 기본 Dreamer보다 점수가 4.5% 높고 에피소드 보상의 분산은 28% 낮았다. 촉각 드리밍 HTD논문는 휴머노이드 로봇이 행동만 따라 배우는 대신, 미래의 손 관절 힘과 미래 촉각의 잠재 표현까지 예측하게 했다. 목표값은 지수 이동 평균으로 천천히 갱신되는 별도 인코더가 주므로 촉각 사전학습 단계가 따로 필요 없다. 실제 접촉이 많은 다섯 과제에서 과제별 더 강한 기준 대비 평균 성공률이 상대적으로 90.9% 올랐고, 원시 신호보다 잠재 공간에서 촉각을 예측하는 편이 더 효과적이었다는 분석도 냈다.

LLM 에이전트 쪽에서는 꿈이 '경험 정리'와 '통제된 환각'으로 바뀐다. 스킬 드리밍논문은 저장소의 PR(코드 변경 요청) 이력 중 검증된 PR에서 실행 가능한 지식을 뽑아 저장소 전용 스킬 라이브러리를 만들고, 새 PR이 들어올 때마다 스킬을 다듬는다. 이 스킬은 기능 구현뿐 아니라 테스트·문서·호환성·저장소 관례 유지까지 코딩 에이전트를 안내한다. Dream Layer논문는 정반대 방향에서 접근해, 논리 점검 모듈을 느슨하게 하고 샘플링 온도를 올려 일부러 기묘한 이야기(예: 통화가 맞지 않는 여행 이야기)를 만들고 이를 드문 사건과 경계 상황 안전 테스트용 데이터로 쓴다. 비식별화된 추상 상호작용 틀을 모은 공유 꿈 저장소도 제안했다.

요즘 어디로 가고 있나: 꿈을 데이터 공장으로

최근 연구는 월드 모델의 꿈을 실제 데이터를 대신하는 공급원으로 쓰는 쪽으로 움직인다. 월드 모델 데이터 연구논문는 야생동물 드론 영상을 7B 파라미터 월드 모델에 씨앗으로 넣어 같은 센서·고도·환경의 새 영상을 만들고, 골라낸 프레임으로 학습 세트를 두 배 넘게 늘렸다. 같은 드론의 보지 않은 영상에서 mAP@50–95가 실제 데이터에 더하면 4.3%, 실제 데이터를 대신하면 10.3% 올랐고, 도시 벤치마크에서는 최대 33.5% 올랐다. 다만 전문가가 생성 영상의 약 87.5%를 버린 것으로 추정됐다. 비용은 GPU 시간 약 1,100달러로, 덜 쓸모 있는 실제 학습 세트에 든 현장 인건비만 3,200달러가 넘었던 것과 대비된다. 저자들은 이를 데이터 비용이 현장 작업에서 계산으로 옮겨 가는 현상으로 정리했다.

꿈을 오래 이어 가는 문제도 다뤄진다. 컨텍스트 압축 연구논문는 월드 모델이 갔던 곳을 다시 방문하면 그곳을 일관되게 다시 그리지 못하는 문제를 '컨텍스트 검색' 문제로 봤다. Claude Code 같은 에이전트 하네스가 LLM에 보낼 컨텍스트를 고르듯, 월드 모델에도 컨텍스트를 압축해 주는 하네스를 붙였고, 재학습 없이 컨텍스트 윈도의 최대 4배 너머에 있는 방까지 되살렸다. 반면 슬라이딩 윈도 어텐션을 쓰는 모델은 꿈을 꾸는 동안 컨텍스트 검색 능력을 대부분 잃었다.

꿈이 얼마나 '현실 같은가'를 따지는 연구도 나왔다. 나비 꿈 연구논문는 광학 흐름 추정만 학습한 초파리 시각계 모델에게 실제 영상과 세 가지 작은 월드 모델이 이어 그린 영상을 보여 줬다. 학습된 관찰자의 반응에서는 아홉 가지 꿈 모두가 현실과 구분됐고(AUC 0.85–0.99), 학습 전 같은 망에서는 학습된 월드 모델의 꿈이 훨씬 덜 구분됐다(0.58–0.75). 픽셀 오차가 작아도 시간 통계에 꿈의 흠이 남는다는 뜻이고, 꿈을 학습 재료로 쓸 때 품질 검사가 왜 필요한지 보여 준다.

한계와 쟁점: 언제 쓰고 언제 피하나

첫 번째 쟁점은 꿈의 품질이다. 생성 영상의 대부분이 버려지고논문, 학습된 관찰자는 꿈과 현실을 쉽게 구분한다논문. 걸러내지 않은 꿈을 그대로 학습에 섞으면 모델은 꿈 특유의 흠까지 배운다. 그래서 실무에서는 '꿈을 얼마나 많이 만드나'보다 '무엇으로 걸러내나'를 먼저 정해야 한다. 스킬 드리밍논문이 검증된 PR만 재료로 쓰는 것도 같은 이유다.

두 번째는 꿈과 실제의 경계다. Dream Layer논문는 온라인에서 표시 없이 나온 환각은 여전히 버그이고, 범위가 정해지고 표시되고 시간을 두고 쓰이는 환각만 합성 시나리오 자원이 된다고 구분했다. 이를 위해 엄격한 추상화, 시간 지연, 휘발성 메모리라는 통제 장치를 함께 뒀다. 꿈 데이터에 출처 표시를 남기지 않으면 나중에 실제 기록과 섞여 되돌릴 수 없게 된다.

세 번째는 비용의 이동이다. 드리밍은 데이터를 아끼는 대신 계산을 쓴다논문논문. 실제 데이터가 싸고 풍부하다면 굳이 꿈을 꿀 이유가 적다. 반대로 현장 수집이 비싸거나, 드문 사건·위험한 상황처럼 실제로 모으기 어려운 데이터가 필요할 때 효과가 크다. 월드 모델 자체가 약하면 꿈도 약하므로, 월드 모델의 컨텍스트 유지 능력논문부터 점검해야 한다.

흔한 실수 하나는 이름의 혼동이다. 논문 검색에서 'Dream'이 들어간 확산 언어 모델, 지연 내성 최적화 기법, 대수기하의 Mori dream space 같은 결과가 함께 나오지만, 이들은 여기서 다루는 드리밍과 관계가 없다.

더 공부하려면

원리부터 잡고 싶다면 클리핑 홉필드 연구논문부터 읽는 것이 좋다. '무작위 패턴을 잊으면 왜 기억이 좋아지나'라는 질문이 가장 짧게 정리돼 있다. 수학에 익숙하다면 이어서 DLAM논문으로 넘어가 간섭 모드를 줄이는 원리와 데이터·계산 맞교환을 확인한다. 꿈의 기능에 대한 인지과학적 배경은 계산 모델 연구논문가 다룬다.

강화학습·로봇에 관심이 있다면 확률적 드리밍논문으로 월드 모델 속 상상 학습의 구조를 보고, 촉각 드리밍 HTD논문로 미래 감각 예측을 보조 과제로 쓰는 방법을 본다. 실무 비용 관점은 월드 모델 데이터 연구논문가 가장 구체적이다.

LLM 에이전트를 만드는 개발자라면 스킬 드리밍논문으로 기록을 스킬로 정리하는 흐름을, Dream Layer논문로 환각을 통제된 자원으로 바꾸는 통제 장치를, 컨텍스트 압축 연구논문로 하네스 관점에서 긴 꿈을 관리하는 법을 차례로 읽으면 좋다.