영상 생성 모델: 시공간 확산과 일관성

왜 영상 생성은 이미지보다 어려운가

이미지 생성은 한 장이 그럴듯하면 된다. 영상은 수십에서 수백 장의 프레임이 서로 어긋나지 않아야 한다. 인물의 얼굴, 조명, 배경 구조가 프레임마다 조금씩 바뀌면 화면이 깜빡이거나 사물이 녹아내리는 듯 변형된다. 프레임이 서로 맞아떨어지는 성질을 시간적 일관성(temporal consistency)이라 부르고, 이것이 영상 생성의 가장 큰 과제다.

연구들도 같은 지점을 짚는다. VideoFrom3D논문는 기존 영상 디퓨전 모델이 복잡한 장면에서 화질, 움직임, 시간 일관성을 한꺼번에 모델링하는 데 어려움을 겪는다고 지적한다. CAT-LVDM논문은 텍스트나 멀티모달 임베딩에 생긴 작은 흔들림이 디노이징 단계를 거치며 불어나 영상의 의미 자체가 표류(semantic drift)할 수 있다고 보고했다.

계산량도 문제다. DVG논문는 디노이징 단계마다 처리해야 할 토큰이 많아 반복 계산이 비싸다고 설명한다. AB-Attention논문은 모든 프레임의 모든 위치가 서로를 참조하는 3D full attention의 제곱 비용이 추론 시간 대부분을 차지한다고 밝혔다. 일관성을 높이려고 모든 프레임을 함께 보게 하면 비용이 커지고, 비용을 줄이려고 덜 보게 하면 일관성이 깨진다. 이 분야의 설계는 대부분 이 줄다리기 안에서 이뤄진다.

핵심 아이디어: 시간과 공간을 한 덩어리로 다듬기

디퓨전 모델(확산 모델)은 순수한 잡음에서 시작해 잡음을 조금씩 걷어내면서 그림을 완성한다. 영상 디퓨전 모델은 걷어내는 대상이 한 장의 그림이 아니라 '프레임 묶음 전체'다. 가로, 세로에 시간 축이 하나 더 붙은 덩어리를 한꺼번에 다듬는다. 이것이 시공간 확산의 기본 발상이다.

플립북에 비유할 수 있다. 한 장씩 따로 그린 뒤 넘기면 선이 미세하게 어긋나 그림이 떨린다. 대신 모든 장을 겹쳐 놓고 흐린 밑그림부터 동시에 조금씩 진하게 그려 나가면, 한 장을 다듬을 때마다 앞뒤 장을 함께 보게 되므로 연결이 자연스럽다. 시공간 확산은 이 '겹쳐 놓고 함께 그리기'를 수학적으로 하는 방식이다.

이 설계가 맞바꾼 것도 분명하다. 함께 보기 때문에 일관성은 좋아지지만, 한 번에 다룰 수 있는 길이와 해상도는 메모리와 계산량에 묶인다. 그래서 짧은 조각을 이어 붙이는 자기회귀 모델 방식, 첫 장면을 먼저 확정하는 앵커 방식, 계산을 덜어 내는 효율화 기법처럼 이 기본형을 비튼 변형이 계속 나온다.

어떻게 작동하나

첫째, 압축이다. 픽셀을 그대로 다루면 너무 크므로 인코더로 영상을 작은 잠재(latent) 공간으로 줄인 뒤 그 안에서 디퓨전을 돌린다. CAT-LVDM논문이 다루는 잠재 영상 디퓨전 모델(LVDM)이 이 구조다. 둘째, '프레임 × 높이 × 너비' 모양의 잡음 텐서를 준비한다. 셋째, 이 텐서를 작은 시공간 조각(패치)으로 잘라 토큰으로 만들고 트랜스포머에 넣는다. 이렇게 디노이저를 트랜스포머로 만든 구조를 디퓨전 트랜스포머(DiT)라 부른다.

넷째, 디노이징을 여러 번 되풀이한다. 매 단계에서 어텐션이 같은 프레임 안의 다른 위치(공간)와 다른 프레임의 같은 위치(시간)를 함께 참조해 잡음을 조금씩 걷어낸다. 모든 토큰이 모든 토큰을 보는 3D full attention에서는 토큰 수가 두 배가 되면 비용은 네 배가 된다. 다섯째, 조건을 넣는다. 텍스트 프롬프트, 첫 프레임 이미지, 카메라 Trajectory, 깊이나 윤곽선 같은 신호가 디노이저에 더해져 '무엇을 어떻게 움직일지'를 정한다. 마지막으로 디코더가 잠재 영상을 픽셀 프레임으로 되돌린다.

조건의 종류도 일관성에 영향을 준다. CtrlVDiff논문는 깊이나 윤곽선처럼 기하 정보만 주면 배치는 정해지지만 외형, 재질, 조명은 덜 정해져 재조명 같은 편집이 어렵고 시간에 따른 표류도 자주 생긴다고 분석했다. 생성 모델의 무작위성도 걸림돌이다. PlenopticDreamer논문는 모델이 지어내야 하는 영역에서는 생성의 확률적 성질 때문에 시공간 일관성을 지키기 어렵다고 짚었다. 여러 시점으로 영상을 다시 렌더링할 때 특히 그렇다.

일관성을 지키는 네 갈래 설계

첫 갈래는 앵커다. AVG논문는 움직임 실패처럼 보이는 오류의 상당수가 사실은 첫 프레임을 잘못 구성한 데서 시작된다고 본다. 그래서 LLM이 프롬프트를 첫 장면 묘사로 다시 쓰고, 텍스트-이미지 모델이 구도가 맞는 앵커 프레임을 만든 뒤, 영상 모델은 그 장면을 움직이는 일에만 집중하게 나눴다. T2V CompBench에서 최고 성능을 냈고, 샘플링 단계를 70% 줄여도 성능이 떨어지지 않았다고 보고했다. VideoFrom3D논문도 비슷하게 역할을 나눈다. 이미지 디퓨전 모델로 시점 간에 일관된 소수의 앵커 뷰를 만들고, 영상 디퓨전 모델이 카메라 흐름과 구조 정보를 받아 그 사이 프레임을 채운다. 두 모듈 모두 구하기 어려운 '3D 장면-실사 이미지' 짝 데이터 없이 동작한다.

둘째 갈래는 조건을 풍부하게 하는 것이다. CtrlVDiff논문는 깊이, 법선, 분할, 윤곽선에 그래픽스의 고유 속성(알베도, 거칠기, 금속성)까지 받는다. HMCS라는 전략으로 이 특징들을 라우팅하고 합쳐서, 어떤 조합이 주어지든 시간 일관성을 유지하며 영상을 다시 렌더링한다. 이를 위해 실사와 합성 영상을 섞고 모달리티별 주석과 캡션을 맞춘 MMVideo 데이터셋을 만들었다.

셋째 갈래는 학습을 튼튼하게 하는 것이다. CAT-LVDM논문은 이미지 디퓨전에서 쓰던 가우시안·균등 잡음 주입이 영상에서는 시간 충실도를 해친다고 보고, 배치 의미나 주파수 특성에 맞춘 구조적 잡음(BCNI, SACN)을 학습 중 조건에 넣었다. BCNI는 WebVid-2M, MSR-VTT, MSVD에서 FVD(생성 영상과 실제 영상의 분포 차이, 낮을수록 좋음)를 31.9% 낮췄고, SACN은 UCF-101에서 12.3% 개선했다. 5배 적은 데이터로 학습하고도 더 큰 기준 모델들을 앞섰다.

넷째 갈래는 기억과 효율이다. PlenopticDreamer논문는 여러 영상을 받아 하나를 내는 모델을 자기회귀로 학습하고, 카메라 정보로 이전 생성물 가운데 중요한 영상을 골라 조건으로 다시 넣어 시점 간 기억을 유지한다. 오류 누적으로 긴 영상이 망가지지 않도록 self-conditioning도 더했다. DVG논문는 초기 단계에서 해상도를 낮추는 가속을 시간과 공간 양쪽으로 넓혀, 영상 내용에 맞는 가속 전략을 재학습 없이 고른다. HunyuanVideo 계열에서 최대 7배, Distillation과 함께 쓰면 18배 빨라졌다.

요즘 어디로 가고 있나

첫째 흐름은 긴 영상의 표류를 줄이는 것이다. 계층적 디퓨전 연구논문는 자기회귀 방식에서 먼 프레임이 실제 정답이 아니라 앞서 생성한 결과에 기대기 때문에 오류가 쌓인다고 진단한다. 이 연구는 카메라 제어 영상 생성을 '이전 프레임을 새 시점으로 옮긴 뒤 빈 곳 채우기(warping-and-inpainting)' 문제로 바꿨다. 그리고 바로 앞 과거만 보고 프레임을 만든 뒤, 듬성듬성 뽑은 먼 과거를 보는 두 번째 디노이저로 다시 다듬는다. 각 프레임이 전체 시간 맥락을 참조하면서도 비용은 감당할 만한 수준에 머문다. RealEstate10k와 DL3DV에서 기존 방법보다 나은 결과를 보였다.

둘째 흐름은 어텐션 비용을 정밀하게 깎는 것이다. AB-Attention논문은 블록 단위로 어텐션을 건너뛰는 기존 방식이 희소도를 높이면 품질이 무너진다고 본다. 그래서 블록 중요도를 추정해 그 비율대로 표본을 뽑고 가중치를 되돌려, 버리는 대신 전체 어텐션을 '추정'하게 만들었다. 추가 학습이 필요 없고, Wan2.1과 HunyuanVideo에서 어텐션의 89~92%를 건너뛰면서도 가장 강한 기준 방법보다 PSNR을 최대 4.4dB 높였으며 전체 생성은 최대 2.23배 빨라졌다.

셋째 흐름은 일관성을 모델 밖으로 빼는 것이다. BoxWorld논문는 상호작용 규칙을 생성기 안에서 배우게 하면 사물 단위 규칙을 지정하고 그 결과를 따지기 어렵다고 본다. 그래서 코딩 에이전트가 사용자 규칙으로 'Box World Engine'을 만들어 사물의 위치 상자, 속성, 상태를 관리하게 하고, 영상 생성기는 이 상태 흐름을 자기회귀로 화면에 그리는 일만 맡는다. 생성기가 자기 출력에 이어 생성해도 흔들리지 않도록 스스로 만든 이력으로 Rollout Distillation도 거친다. 세 흐름을 합쳐 보면 일관성을 지키는 책임이 거대한 단일 모델 하나에서 기억 구조, 효율적 연산, 외부 상태 엔진으로 나뉘어 가는 추세다.

한계와 쟁점, 실무 판단 기준

가장 큰 쟁점은 '보기 좋음'과 '정확함'의 차이다. KIVI논문는 설명, 절차, 시연을 요구하는 짧은 질문 1,080개로 벤치마크를 만들어 최신 영상 생성 모델 7종을 평가했다. 모두 사람 수준에 못 미쳤고, 특히 시각적 속성, 절차적 동작, 정보를 명확하게 전달하는 부분이 약했다. 화면이 매끄럽게 이어진다고 내용이 맞는 것은 아니다. 교육이나 매뉴얼 영상에 쓸 때는 사실성을 따로 검증해야 한다.

각 설계에도 대가가 있다. 앵커 분해는 구도를 잡기 쉽지만 LLM, 이미지 모델, 영상 모델로 단계가 늘어 파이프라인이 복잡해지고, 앵커가 틀리면 뒤 단계가 그 오류를 그대로 물려받는다. 자기회귀 연장은 길이 제한을 풀지만 표류를 막는 장치가 따로 있어야 한다. 희소 어텐션이나 해상도 조절 같은 가속 기법은 전체 계산 대비 품질 손실을 재서 보고하므로, 내 콘텐츠에서도 같은 수준이 유지되는지 직접 확인해야 한다.

실무 판단 기준은 이렇다. 생성 결과의 첫 장면 구도나 사물 배치가 자주 틀리면 앵커 프레임 방식부터 검토한다. 재조명이나 재질 교체처럼 외형을 바꾸는 편집이 목표라면 깊이나 윤곽선 조건만으로는 부족하다는 CtrlVDiff논문의 분석을 참고한다. 카메라가 오래 움직이는 긴 영상이라면 장기 기억 참조나 계층적 디노이징 계열이 맞다. 게임처럼 규칙과 상태가 정확해야 하는 상호작용이라면 상태 관리를 외부 엔진에 맡기는 BoxWorld식 분리가 맞다. 흔한 실수도 있다. 짧은 클립 지표만 보고 긴 영상 품질을 짐작하는 것, 가속 기법을 붙인 뒤 품질 검증을 건너뛰는 것, 조건 입력의 작은 잡음이 의미 표류로 커질 수 있다는 점(CAT-LVDM, 논문)을 무시하는 것이다.

더 공부하려면

구조를 먼저 잡으려면 AVG논문부터 읽는 것이 좋다. 영상 생성을 '장면 구성'과 '시간 합성'으로 나누는 발상이 다른 연구를 읽을 때도 기준이 된다. 이어서 VideoFrom3D논문로 이미지 모델과 영상 모델의 역할 분담을, CtrlVDiff논문로 조건 신호의 종류가 일관성과 편집 가능성에 주는 영향을 본다.

학습 쪽 관심이 있다면 CAT-LVDM논문이 잡음 주입 하나로 강건성이 얼마나 달라지는지 보여 준다. 긴 영상과 다시점 일관성은 PlenopticDreamer논문에서 시작해 계층적 디퓨전 연구논문로 이어 읽으면 '이전 생성물을 어떻게 기억하나'라는 질문의 변화가 보인다.

서비스 비용이 고민이라면 DVG논문와 AB-Attention논문을 나란히 읽는다. 전자는 해상도와 시간 축의 계산 배분을, 후자는 어텐션 자체의 근사를 다룬다. 마지막으로 평가 관점은 KIVI논문, 영상 생성이 월드 모델·에이전트와 만나는 방향은 BoxWorld논문가 출발점으로 알맞다.