논문 리뷰 · 2026년 10월 14일
VIS-Ground: 맥락 Grounding 기반의 대화형 영상 스토리텔링
VIS-Ground: Video Interactive Storytelling with Contextual Grounding
원본 자료, 이미 생성된 영상, 시청자 요청을 의존성 모델로 정리하고 이를 생성 제약으로 바꿔, 3개 영상 생성 백본 모두에서 종합 점수를 평균 10.3점 높였다.
문제
시청자가 영상 생성 중간에 개입할 수 있게 하면, 새 요청이 원본 자료(이야기나 지식 문서)와 이미 렌더링된 영상 상태 모두와 맞아야 한다. 이런 의존성은 어느 한 입력에도 드러나 있지 않다. 그래서 요청을 그대로 생성기에 넣으면 상태 모순이나 원본과 맞지 않는 내용이 생기기 쉽다.
방법
세 단계로 구성된다. ① Structured Context Abstraction: VLM으로 영상, 이야기, 원본의 상태를 구조화된 사실로 추출하고 입력 간 의존성(인과, 선후, 상태 전이 등)을 도출한다. ② Generation Constraints Induction: 후보 스크립트와 관련된 의존성만 활성화해 제약으로 만들고, pass/fail/unknown으로 판정한다. ③ Constrained Video Generation: 계획, 검증, 수정, 렌더링을 반복하고, 렌더링된 영상도 다시 검증해 고친다. 평가용으로 CoQA 기반 VIS-Bench(원본 250개, 상호작용 지시 1,004개, 인스턴스 2,008개)를 구축했다.
결과
- Omni-1.1-Flash, Veo 3.1, MiniMax-H3의 세 백본 모두에서 종합 점수가 가장 높았다. 백본별 최강 기준선 대비 평균 10.3점(절대) 개선됐다.
- 백본별 개선 폭은 Omni 12.3점, Veo 15.3점, MiniMax 3.4점이었다.
- 저자들은 이야기 기반과 지식 기반 Grounding 설정 모두에서 개선이 있었다고 보고했다.
- 9명이 참여한 형성 연구에서 주의력 테스트를 통과한 7명의 평균 학습 향상은 상호작용이 있을 때 47.9%p, 없을 때 32.1%p였다.
한계
의미 지표는 Gemini 3.8 Flash와 Claude Opus 5 자동 평가자에 의존한다. 영상 품질(VQ)은 샘플 프레임 기준이라 움직임과 오디오는 평가하지 않는다. 형성 연구는 표본이 매우 작고 탐색적이다. 저자들은 의존성 추출과 렌더링 단계의 충실한 구현이 여전히 과제라고 밝혔다. 벤치마크는 CoQA 지문에서 만든 합성 데이터다.
의미
인터랙티브 영상이나 교육용 영상 서비스에서 사용자 요청을 따르면서도 앞선 내용이나 원본 사실과 모순되지 않게 하는 구조적 방법을 보여준다. 이 방법은 특정 생성 모델에 묶이지 않는다.
핵심 용어
- Contextual Grounding
- 원본 자료, 이미 생성된 영상, 새 요청처럼 서로 다른 입력을 생성 모델이 지켜야 할 제약으로 바꾸는 과정이다.
- Candidate-conditioned 제약
- 모든 의존성을 늘 적용하지 않고, 후보 스크립트가 관련 사건을 도입할 때만 활성화되는 제약이다.
- Plan–Verify–Revise–Render
- 스크립트를 계획하고 제약으로 검증·수정한 뒤 렌더링하고, 결과 영상을 다시 검증하는 반복 루프다.
원문
저자: Bingxuan Li, Yiwen Song, Xueqing Wu, Yanzhou Pan, Yang Li, Kuang Su, Jingyun Liu, Sebastian Ko, 외 · 게시 2026-10-07 · 라이선스 CC BY 4.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.