← 주요 논문

논문 리뷰 · 2026년 11월 12일

Condition Shifting을 이용한 Few-step 스트리밍 영상 생성

Few-Step Streaming Video Generation via Condition Shifting

생성형 미디어효율·인프라 고급 추천 47 cs.CV Tsinghua University

텍스트 조건을 뒤집어 생성기 하나가 fake score 추정까지 맡게 해, 별도 fake 네트워크 없이 Few-step 스트리밍 영상 생성의 학습 비용을 줄이고 지시 이행을 높였다.

문제

스트리밍 영상 생성은 새 블록마다 여러 번 네트워크를 평가해야 해서 비용이 크다. Few-step 생성기를 만드는 DMD(Distribution Matching Distillation)는 별도의 fake-score 네트워크가 필요하다. 이 네트워크는 학습 메모리와 연산을 늘리고, 계속 바뀌는 생성기를 따라가도록 맞춰야 한다.

방법

APEX의 Condition Shifting을 스트리밍 영상으로 확장했다. 원래 텍스트 조건 c를 넣으면 생성을 하고, 부호를 뒤집은 조건(-c)을 넣으면 같은 파라미터로 생성 분포의 velocity(fake 추정)를 예측한다. 이렇게 독립 fake 네트워크를 없앴다. S2-Avatar의 고정된 Teacher 모델, Self-Replay Forcing, perceptual regularization은 그대로 쓴다. Teacher와 fake의 clean latent 예측 차이로 보정 타깃을 만들어 생성기를 학습한다.

결과

한계

비교 대상이 주로 S2-Avatar 하나이고, 같은 학습 데이터와 백본을 공유한다. 평가된 개선 폭이 작은 지표가 많다. 오디오 품질·동기화·주체 일관성은 오히려 나빠졌고, Interactive 트랙의 VQ도 떨어졌다. 인간 평가는 70쌍 규모다. 효율 개선(메모리 4.4%, 시간 9.2%)도 크지 않다.

의미

Distillation 학습에서 보조 네트워크를 없애면 대형 영상 모델의 학습 메모리와 운영 복잡도가 줄어든다. 실시간 아바타·인터랙티브 영상처럼 긴 스트리밍 생성에서 Few-step 모델을 만드는 실용적 대안이 된다.

핵심 용어

DMD(Distribution Matching Distillation)
고정된 Teacher의 점수와 생성 분포를 추정하는 fake-score 네트워크의 차이로 Few-step 생성기를 학습시키는 Distillation 기법이다.
Condition Shifting
입력 조건(여기서는 텍스트 임베딩의 부호)을 바꿔, 한 네트워크가 생성과 fake 분포 추정이라는 두 역할을 번갈아 하게 하는 방법이다.
Self-Replay Forcing
모델이 스스로 생성한 시퀀스의 일부를 다시 노이즈를 입혀 재생하며 학습하는 방식이다. 자기회귀 영상 생성의 누적 오류를 줄이려는 목적이다.
NFE
Number of Function Evaluations. 샘플 하나를 만들 때 네트워크를 몇 번 실행하는지를 뜻하며, 적을수록 빠르다.

원문

저자: Deyuan Liu, Jungang Li, Kaiwen Zheng, Kai Jiang, Jintao Chen, Yaole Wang, Ming Lin, Tao Lin, 외 · 게시 2026-11-10 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.