OmniShowcase: 다시점 이미지로 360도 전 방향에서 일관된 피사체 영상 생성

문제

참조 이미지 몇 장으로 특정 피사체의 영상을 만드는 S2V(Subject-to-Video)에서는 카메라가 입력에 없던 면을 비추면 형태와 외관이 흐트러지기 쉽다. 다시점 참조를 쓰는 최근 방법도 시점들을 잇는 3D 구조를 명시적으로 주지 않는다. 또 카메라 제어 영상 생성기로 만든 학습 데이터는 시점이 바뀌어도 같은 3D 피사체가 유지된다는 보장이 없다.

방법

(1) 자동 데이터 합성: Objaverse 등의 3D 메시를 Blender로 렌더링해 목표 영상과 90° 간격 참조 뷰 4장을 만든다. 피사체 픽셀은 그대로 두고 영상 인페인팅으로 배경만 생성해 실제 장면처럼 합성한다. 카메라 모션은 12종, Trajectory 구성은 88가지다. (2) 기하 조건: 참조 4장에서 3D Gaussian으로 형상을 재구성하고, 이를 yaw 회전시키며 렌더링한 25프레임 표면 노멀 Turntable을 만든다. 학습과 추론에서 같은 절차를 쓴다. (3) 사전학습된 I2V 확산 트랜스포머(Wan)를 LoRA로 튜닝한다. 참조·노멀·목표 latent를 시간축으로 이어 붙여 노멀과 목표 프레임을 1:1로 맞추지 않고 조건을 준다.

결과

• 4,000개 영상으로 이루어진 학습 데이터셋 Showcase-4K와, 학습 데이터와 3D 에셋이 겹치지 않는 50개 피사체의 평가 세트 ShowcaseBench를 구축했다.
• 저자들은 ShowcaseBench와 NAVI(35개 피사체)에서 Phantom-MV, MAGREF-MV, MV-S2V, 3DreamBooth 대비 피사체 정체성(DINO·CLIP 유사도)과 3D 일관성(MEt3R, GT-CD) 모두 최고 성능을 냈다고 보고했다.
• 영상 품질과 모션은 경쟁력 있는 수준을 유지했다고 보고했다.
• 피사체별 최적화가 필요한 3DreamBooth와 달리 새 피사체에 추가 최적화 없이 적용된다.

한계

제공된 본문이 실험 수치 이전에서 잘려 있어 정량 비교 수치는 확인하지 못했다. 학습 데이터는 4K 규모의 합성 렌더링 영상이고 대상은 주로 정적 물체다. 기하 조건은 참조 4장에서 재구성한 품질에 의존한다. 평가 지표 일부는 GroundingDINO·SAM 마스크와 π³ 재구성 같은 외부 모델에 의존한다.

의미

상품을 360도로 돌려 보여주는 영상처럼 피사체 형태가 정확해야 하는 생성 작업에서, 3D 기하를 조건으로 주는 접근이 효과적임을 보여준다. 3D 에셋으로 시점 일관성이 보장된 학습 데이터를 만드는 파이프라인도 재사용할 만하다.

핵심 용어

S2V(Subject-to-Video)

참조 이미지 속 특정 피사체의 외관을 유지하면서 그 피사체가 나오는 영상을 생성하는 작업이다.

표면 노멀 Turntable

재구성한 3D 형상을 제자리에서 돌리며 각 면의 방향(노멀)을 이미지로 렌더링한 시퀀스다. 모델에 3D 구조 단서로 들어간다.

LoRA

기존 가중치는 고정하고 작은 저랭크 행렬만 학습해 큰 모델을 적은 비용으로 파인튜닝하는 기법이다.

In-context 조건화

조건 정보(참조 이미지, 노멀)를 별도 채널이 아니라 입력 시퀀스 앞부분에 이어 붙여, 모델이 어텐션으로 참고하게 하는 방식이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Junyeong Ahn, Geonwoo Kim, Kinam Kim, Gihwi Kim, Hoonjin Jung, Hyojin Jang, Jaegul Choo · 게시 2026-10-26 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.