StreamEval: 실시간 상호작용형 스트리밍 영상 생성 모델 평가 벤치마크

문제

스트리밍 영상 생성은 세션 도중 들어오는 사용자 요청에 반응해야 한다. 그런데 기존 벤치마크는 화질이나 특정 영역(월드, 편집, 대화)만 따로 본다. 요청을 제때 수행하면서 이전 상태를 유지하는지를 여러 과제에 걸쳐 통합 평가하는 기준이 없었다.

방법

디지털 휴먼 대화, 아바타 퍼포먼스, 월드 생성, 지시문 편집, 참조 이미지 편집의 5개 과제를 만들었다. 과제마다 60개, 총 300개 테스트 케이스를 15·30·60·120·300초 길이로 균등하게 배분했다. 각 케이스는 초기 자산, 시간에 맞춰 순차 도착하는 멀티모달 요청, 바꿀 것과 유지할 것에 대한 명시적 기준을 담는다. 평가는 과제 수행·상태 일관성·시각 품질·음성-영상 동기화의 4개 차원, 10개 지표(0~100점)로 한다. 대부분 LLM·VLM 심사자가 채점하고, 심사자는 오탐·미탐 허용 기준으로 보정했다.

결과

• 저자들은 37개 모델(47개 과제 구성)을 평가했고, 시각 품질과 정체성 유지가 높아도 요청 수행이나 상태 일관성이 보장되지 않는다고 보고했다.
• 요청 수행 점수가 특히 낮았다. 아바타 퍼포먼스 Following 최고점은 36.90(7개 모델 중), 텍스트 조건 월드 생성 Following 최고점은 25.93이었다.
• 참조 이미지 편집의 Edit Success 최고점은 15.00이었다(결과가 보고된 3개 모델 중).
• Overall 기준 1위는 아바타 퍼포먼스 Vidu S2 Avatar, 월드 생성 MemFlow, 두 편집 과제 Vidu S2 Editing이었다. 지표별로는 LiveTalk가 Quality, JoyAI-Video-Edit가 Preservation에서 가장 높았다.

한계

채점이 Qwen 계열 LLM·VLM 심사자에 크게 의존한다. 테스트 케이스와 미디어 상당수도 같은 계열 모델(Qwen3.8-Max, Qwen-Image 등)로 생성했다. 편집 표에는 평가 후 Overall 5점 이상인 구성만 실었기 때문에 편집 모델 비교 범위가 좁다. 고정 아바타만 제공하는 시스템은 자기 첫 프레임 기준으로 Identity를 평가해 다른 모델과 조건이 다르다. A–V Sync는 프레임을 드문드문 샘플링해 시간 해상도에 한계가 있다.

의미

대화형 아바타, 인터랙티브 월드, 라이브 편집처럼 실시간 영상 서비스를 만들 때 '보기 좋은 영상'과 '요청대로 움직이는 영상'이 다르다는 점을 수치로 보여준다. 모델을 고를 때 무엇을 확인해야 하는지 기준이 된다.

핵심 용어

스트리밍 영상 생성

영상을 한 번에 다 만들지 않고 조금씩 이어서 생성하는 방식이다. 생성 도중에도 새 입력을 받아 반영할 수 있다.

상태 일관성(State Consistency)

새 요청을 반영하면서도 이전 편집 결과, 인물 정체성, 장면 내용처럼 유지해야 할 것을 계속 지키는 능력이다.

오라클(Oracle)

체크포인트마다 무엇이 생기고, 유지되고, 취소·복원돼야 하는지 미리 적어 둔 정답 명세다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: StreamEval Team · 게시 2026-10-20 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.