MoviEdit: 롱폼 멀티샷 영상 편집을 쉽게

문제

기존 영상 편집 모델은 몇 초짜리 단일 샷에 맞춰져 있다. 장면, 시점, 피사체 외형이 바뀌는 컷을 넘어 편집을 일관되게 유지하기 어렵다. 이를 위한 쌍 학습 데이터, 긴 맥락을 감당할 모델 구조, 평가 벤치마크가 모두 없었다. 원본과 결과 영상 전체를 함께 처리하면 어텐션 비용이 감당할 수 없을 만큼 커진다.

방법

데이터 쪽으로는 사람 라벨 없이 쌍 데이터를 만드는 세 가지 파이프라인을 만들었다. (1) 각 샷 첫 프레임을 격자로 묶어 이미지 편집기로 한 번에 편집한 뒤, 단일 샷 영상 편집기로 샷 내부에 전파하는 픽셀 정렬 편집 (2) 세그멘테이션 마스크 기반 피사체 위치 표시 (3) 멀티샷 생성기에서 노이즈·궤도를 공유하고 ControlNet을 쓰는 준픽셀 정렬 편집이다. 각 단계에 VLM 품질 필터를 걸었다. 모델은 같은 가중치를 쓰는 두 단계로 구성된다. 시공간을 서브샘플링한 표현에서 양방향 확산으로 전역 편집 초안을 만드는 Draft Editor, 그리고 초안을 조건으로 전체 해상도에서 청크 단위 인과 확산을 하는 Render Editor다. 여기에 MoviEdit-Bench를 함께 제시했다.

결과

• 수동 주석 없이 87K 쌍의 멀티샷 편집 영상 데이터를 만들었다. 필터 단계에서 멀티카메라 쌍은 17%/38%, 영화 클립 쌍은 32%/47%가 걸러졌다.
• 저자들은 텍스트 기반·이미지 기반 편집 모두에서 기존 오픈소스 모델을 크게 앞서고, 상용 프런티어 시스템과 비슷한 수준이라고 보고했다.
• 소규모 스트레스 테스트에서 초안 조건이 없는 Autoregressive 편집은 외형 드리프트와 과채도가 누적됐지만, 초안 조건 Rollout은 편집된 외형을 안정적으로 유지했다.
• 학습 때보다 긴 영상에도 일반화된다는 예시를 제시했다.

한계

제공된 본문에는 MoviEdit-Bench의 정량 결과 수치가 잘려 있어, 상용 모델과 '비슷하다'는 주장의 크기를 확인할 수 없다. 데이터 일부는 사내 동기화 멀티카메라 촬영본에 의존한다. 평가는 주로 저자들이 만든 벤치마크에서 이뤄졌다. 텍스트 기반과 이미지 기반 편집은 별도 모델로 학습했다.

의미

영상 편집 AI를 짧은 클립에서 여러 컷으로 이뤄진 실제 영상물로 넓히는 데 필요한 데이터, 모델, 평가를 한꺼번에 제시했다. 광고·영화·콘텐츠 제작 도구에 생성형 편집을 넣으려는 팀에 참고가 된다.

핵심 용어

멀티샷 영상 편집

여러 컷으로 이뤄진 영상에서, 시점이나 장면이 바뀌어도 같은 피사체에 같은 편집이 일관되게 적용되도록 하는 작업이다.

Causal Diffusion Forcing

영상을 청크로 나누고 청크마다 다른 노이즈 수준을 줘서, 앞 청크만 보고 다음 청크를 순차 생성하도록 학습하는 확산 방식이다.

캐스케이드 양방향-Autoregressive 구조

저해상도 전체 영상에서 양방향으로 전역 초안을 먼저 만들고, 이를 기준으로 고해상도 영상을 청크 단위로 순차 생성해 메모리와 일관성 문제를 함께 다루는 설계다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Suhyeon Lee, Zhengang Li, Soo Ye Kim, Peihao Zhu, Jong Chul Ye, Chun-Hao Paul Huang, Duygu Ceylan, Yan Kang, 외 · 게시 2026-11-02 · 라이선스 CC BY-NC-ND 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.