MLLM Latent를 제대로 쓰게 하기: 시네마틱 영상 생성을 위한 요소 인식 예측 학습(FAPL)

문제

시네마틱 영상 생성에는 대본과 몇 장의 참조만으로 동작·카메라 흐름을 추론하는 능력과, 인물·장면·동작·카메라를 서로 간섭 없이 따로 바꾸는 능력이 모두 필요하다. MLLM을 영상 DiT에 연결한 기존 모델은 텍스트 인코더나 VAE 참조 경로만으로도 생성 손실을 줄일 수 있다. 그래서 MLLM Latent를 우회하는 문제가 생기고, 영상 단위 학습만으로는 요소별 제어가 학습되지 않는다.

방법

Stage I에서는 MLLM과 커넥터를 고정하고 텍스트 인코더·VAE 참조 경로를 끈다. MLLM Latent만 조건으로 DiT를 학습하며, 텍스트만 넣은 입력과 텍스트+전체 영상 입력을 섞는다. Stage II에서는 한 요소만 다른 영상 쌍을 쓴다. 구조화된 프롬프트로 요소별 Latent 구간을 찾고, 그 구간을 서로 바꿔 넣은 조건에 상대 영상을 정답으로 주어 DiT를 학습한다. Stage III에서는 학습된 DiT를 고정하고, 두 관측 모드가 같은 목표 영상을 공유하도록 MLLM과 커넥터를 최적화한다.

결과

• 저자들은 기존 MLLM-DiT 모델에서 MLLM Latent가 쉽게 우회된다는 사례를 보고했다. MLLM만 조건으로 주면 Omni-Video 2(1.3B DiT)는 노이즈를 만들었고, 14B 버전과 UniVideo는 아티팩트가 생겼다.
• 저자들은 sparse-to-video, 요소 인식 편집, 멀티샷 생성의 세 과제에서 기준선보다 일관되게 좋은 성능을 냈다고 보고했다(제공된 본문 범위에는 정량 수치가 없다).
• 단계별 Ablation으로 MLLM 특징 활용, 시간 제어, 요소 조정에 대한 각 단계의 기여를 검증했다고 밝혔다.

한계

제공된 본문이 방법 절에서 끊겨 정량 결과와 기준선 수치, 데이터 규모는 확인할 수 없다. 요소 편집 쌍 데이터는 생성·선별해 만들며, 저자들 스스로 요소 구간의 Representation이 완전히 분리되어 있다고 가정하지 않는다. 요소도 인물·장면·동작·카메라 네 가지로 한정된다.

의미

MLLM을 생성 모델에 붙이기만 하면 이해 능력이 생성으로 옮겨질 것이라는 가정에 반례를 보여준다. 연결 경로를 강제하는 학습 방식을 제시해, 콘티·프리비즈처럼 대본 기반으로 영상을 만들고 요소별로 수정하는 제작 도구에 시사점이 있다.

핵심 용어

DiT(Diffusion Transformer)

Transformer를 백본으로 쓰는 확산 생성 모델이다. 최근 영상 생성 모델의 주류 구조다.

MLLM Latent 우회(Feature Bypass)

생성 모델이 다른 조건 경로(텍스트 인코더, VAE 참조)만으로 학습 손실을 줄이고, MLLM이 주는 정보는 거의 쓰지 않는 현상이다.

Factor-Span Replacement

프롬프트에서 특정 요소(예: 인물)에 해당하는 Latent 구간만 다른 샘플의 구간으로 바꾸고, 그에 맞는 정답 영상으로 학습하는 기법이다.

Flow Matching

노이즈에서 데이터로 이어지는 경로의 속도장을 예측하도록 학습하는 생성 모델 학습 방식이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Songlin Yang, Zhe Wang, Xiaotong Zhao, Xi Wang, Ran Zhang, Shuai Li, Taiyi Wu, Songlian Li, 외 · 게시 2026-10-22 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.