논문 리뷰 · 2026년 11월 4일

Wave Forcing: 실시간 스트리밍 영상 생성을 위한 생성·학습·실행 공동 설계

Wave Forcing: Towards Speed-of-Light Streaming Video Generation

생성형 미디어 효율·인프라 고급 추천 101 cs.CV DENG Lab @ SJTU

청크 단위 인과 어텐션과 파면(wavefront) 방식 파이프라인 실행을 결합해, 다단계 디노이징을 유지하면서 8개 H200 GPU에서 종단 간 134.8 FPS의 긴 영상 스트리밍 생성을 달성했다.

문제

청크 단위 자기회귀 영상 생성(Self Forcing 등)은 청크를 디노이징하고, 깨끗한 결과로 K/V 히스토리를 갱신하는 추가 forward(store)를 순서대로 실행한다. 그래서 1-step 디노이징이라도 청크 하나에 forward가 두 번 필요하다. 또 Rollout이 길어지면 화질이 떨어지고 카메라가 한쪽으로 흘러가는 문제가 생긴다.

방법

Wave Forcing은 더 최근의 청크가 앞선 청크의 디노이징이 끝나기 전에 그 덜 노이즈 낀 상태를 참조하도록 청크 단위 인과 어텐션을 쓴다. 각 디노이징 단계와 store 단계에 전체 모델 복제본을 하나씩 맡겨 엇갈린 파이프라인으로 실행한다. 그 결과 파이프라인이 채워진 뒤에는 병렬 forward 한 라운드마다 청크 하나를 출력한다(1F1C). 학습은 3단계다. (1) 혼합 노이즈 디노이징 초기화, (2) Teacher 영상을 쓰는 Off-policy DMD와 LPIPS로 움직임 지도, (3) 스스로 생성한 히스토리로 하는 On-policy DMD 인과 적응이다. 실행 런타임 WaveRT는 Wave Parallelism으로 레이어별 K/V를 미리 전달하고 통신과 연산을 겹친다. 커널 최적화와 부하 균형을 맞춘 VAE 파이프라인 디코딩도 함께 쓴다.

결과

Wan2.1-T2V-1.3B 기반 5-step WF는 VBench Total 81.64로 5-step Rolling Forcing(81.15)과 비슷한 수준이다. VBench-Long Quality도 81.26으로 RF(81.18)와 비슷했다.
Dynamic Degree는 RF 대비 짧은 영상에서 51.39→94.44, 100초 영상에서 36.63→91.45로 올랐다. Subject Preservation도 97.10으로 RF(92.75)보다 높았다. 다만 Camera Drift는 0.37로 RF(0.17)보다 약간 높았다.
Causal Forcing은 VBench-Long Dynamic Degree가 96.61로 가장 높았지만, Subject Preservation 71.11과 Camera Drift 11.14로 저자들은 '사용 불가' 수준의 안정성이라고 평가했다.
4-step WF는 H200 8개에서 DiT 147.6 FPS, 종단 간 134.8 FPS를 기록했다. 단일 GPU 기준선(19.06 FPS) 대비 7.07배다.
SageAttention+W8A8 조건의 DiT 단독 테스트에서 WP는 1.3B~14B 여섯 모델 규모에 걸쳐 Ulysses·Ring Context Parallel 중 더 빠른 쪽 대비 최대 2.53배 처리량을 냈다.

한계

디노이징 단계 수만큼 전체 모델 복제본(GPU)이 필요하다. 논리적 K/V 전달량은 단계 수의 제곱으로 늘어난다. 첫 출력에는 파이프라인을 채우는 지연이 남고, 디노이징이 빨라지면 VAE 등 출력 경로 오버헤드가 드러난다고 저자들도 밝혔다. 생성 품질 평가는 1.3B 모델과 832×480·16FPS 설정에 한정된다. Camera Drift는 Rolling Forcing보다 다소 높다.

의미

실시간 인터랙티브 영상 생성이나 월드 모델 서빙에서는 처리량과 긴 영상의 안정성이 핵심이다. 이 연구는 생성 구조, 학습, 분산 실행을 함께 설계해야 다단계 디노이징의 품질을 지키면서 지연을 줄일 수 있음을 보여 준다.

핵심 용어

1F1C: 파이프라인이 채워진 뒤 병렬 forward 한 라운드마다 완성된 청크 하나를 출력하는 상태다. 순차 실행의 NF1C(청크당 forward N번)와 대비된다.
청크 단위 인과 어텐션: 청크 안에서는 전체 어텐션을 쓰고, 청크 사이에서는 앞선(덜 노이즈 낀) 청크만 참조하게 하는 마스크다. 뒤 청크에 의존하지 않으므로 단계를 겹쳐 실행할 수 있다.
DMD(Distribution Matching Distillation): Teacher 모델의 출력 분포에 맞추도록 적은 단계로 생성하는 Student 모델을 Distill하는 학습 방법이다.
Wave Parallelism: 앞선 단계의 복제본이 레이어별 K/V를 미리 보내 통신을 연산 뒤에 숨기는 병렬 실행 방식이다.

원문

저자: Yijie Jin, Yuxuan Liu, Jiajun Xu, Ye Huang, Chuzhi Wang, Jiayang Li, Ruiyang Chen, Chenling Hong, 외 · 게시 2026-10-31 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.