VibeVideoBench: 코드 기반 영상 생성에서 멀티모달 에이전트를 평가하는 벤치마크

문제

확산 기반 영상 모델은 정확한 수식, 올바른 차트, 규칙이 일관된 게임 화면, 화면 사건과 맞춘 내레이션을 안정적으로 만들지 못한다. 코드로 모든 프레임과 소리를 만드는 에이전트 방식이 떠오르고 있지만, 이를 끝까지(end-to-end) 평가하는 벤치마크가 없었다.

방법

실제 사용자 요청, 실제 영상 캡션, 에셋 팩, 강의 노트·논문에서 출발해 영어·중국어 과제 239개(12개 범주, 목표 길이 8초~15분)를 만들었다. 각 에이전트는 자사 기본 Harness에서 샌드박스 안에 1시간 동안 실행되며, 생성 도구는 TTS만 쓸 수 있다. 평가는 세 층이다. L1은 해상도·프레임레이트·길이·오디오 등 프로그램 검사, L2는 과제별 요구사항에 연결된 약 13k개 루브릭 검사, L3는 5개 품질 차원 점수다. L2와 L3는 VLM 판정 패널 3개가 채점하며, 오디오 검사는 들을 수 있는 모델에만 보낸다.

결과

• 9개 시스템, 2,151개 Rollout에서 GPT-6 Astra(L3 4.126)와 Claude Opus 5.5(4.074)가 판정 모델과 사람 평가 모두에서 1·2위를 했다. 가장 강한 시스템(Claude Opus 5.5)도 핵심 요구사항을 모두 충족한 과제는 76.3%였다.
• 영상을 내지 못한 경우를 0점으로 처리하면 순위가 크게 바뀌었다. Gemini 4 Argon은 239개 중 184개만 제출해 4위에서 7위로 내려갔다.
• 재생 가능한 영상이 없는 224개 실행 중 169개는 최종 렌더링을 너무 늦게 시작했거나, 너무 느려 마감을 넘겼거나, 아예 시작하지 않은 경우로 시간 계획 실패였다.
• 95%의 실행이 자기 프레임을 확인했지만, 확인한 양과 품질 사이의 상관은 ρ=-0.07로 거의 없었다.
• 세 패널 평균 점수에 따른 시스템 순위는 사람 선호와 ρ=0.98로 일치했지만, 개별 영상 쌍 비교에서는 사람과 73%만 일치했다.

한계

VLM 판정은 시스템 단위 순위에는 믿을 만하지만, 개별 영상 평가에는 신뢰도가 낮다고 저자들이 밝혔다. 모델과 Harness를 묶어 평가하므로 둘의 기여를 분리할 수 없다. 시스템·과제 조합마다 실행이 한 번뿐이라 실행 간 편차는 반영되지 않는다. 사용할 수 있는 생성 도구가 TTS로 제한된다.

의미

교육 영상, 논문 해설, 데이터 스토리처럼 정확성이 중요한 영상을 에이전트에게 맡길 수 있는지 판단할 기준을 준다. 특히 품질만큼 '제시간에 완성본을 내는가'가 중요한 축이라는 점을 수치로 보여, 에이전트의 시간 관리와 작업 계획 개선 과제를 드러낸다.

핵심 용어

코드 기반 영상 생성

픽셀을 직접 생성하는 모델 대신, 에이전트가 렌더러·TTS·ffmpeg 등을 코드로 다뤄 프레임과 소리를 만드는 방식이다. 내용이 정확하고 수정하기 쉽다.

L2 strict

핵심 루브릭 검사가 하나도 실패하지 않고 하나 이상 통과한 과제의 비율이다. 영상을 내지 못하면 실패로 센다.

Modality routing

시각 검사는 비전 모델에, 오디오 검사는 오디오를 들을 수 있는 모델에 나눠 보내 판정 오류를 줄이는 방식이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 프로젝트
• Hugging Face

저자: Muxi Diao, Wenbin Xu, Lele Yang, Xuyang Ma, Yuzhe Chen, Jiankang Chen, Kaiyu Jiang, Changyi Liu, 외 · 게시 2026-10-26 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.