VideoJev: 영상 이해와 상호작용을 위한 System One 모델

문제

영상 멀티모달 LLM은 시간 구간 탐지(temporal grounding)나 객관식 QA처럼 출력이 짧은 정형 결정이어도 타임스탬프나 답을 토큰 단위로 생성한다. 그래서 느리다. 에이전트는 같은 영상에 질의를 반복하는데, 이때 매번 생기는 추가 비용도 크다.

방법

Qwen3.5-4B와 Qwen3.6-35B-A3B(MoE)를 백본으로 쓴다. 마지막 MLP와 출력 헤드를 제거하고, 새 토큰(<|option_end|>, <|decide|>)의 Hidden Representation을 투영한 뒤 코사인 유사도로 후보 점수를 매긴다. 시간 구간 탐지에서는 프레임 쌍 단위 구간을 타임스탬프 텍스트 후보로 넣어 BCE와 soft IoU로 학습하고, Kadane 알고리즘으로 연속 구간 하나를 디코딩한다. 객관식 QA는 보기마다 점수를 매겨 softmax와 cross-entropy로 학습하며, 위치 편향을 줄이려고 보기 순서를 섞는다. 영상 prefix를 한 번만 계산해 재사용하는 Cached 추론과, 여러 질의를 한 번의 forward로 처리하는 Joint 추론을 지원한다. 학습은 헤드만 정렬하는 1단계와 백본까지 함께 학습하는 2단계로 나눴다.

결과

• 시간 구간 탐지 3개 벤치마크의 평균 mIoU에서 VideoJev-4B 65.3으로 백본 Qwen3.5-4B(58.6)보다 6.7점, TimeLens2-4B(62.0)보다 3.3점 높음
• VideoJev-35B-A3B는 평균 mIoU 67.7로 백본 Qwen3.6-35B-A3B(56.9)보다 10.8점 높음. 질의당 지연시간은 0.336초로 백본(1.054초)의 약 3분의 1
• 영상 QA 4개 벤치마크 평균에서 VideoJev-4B 74.3으로 Qwen3.5-4B Thinking 모드(74.9)와 비슷함. 질문당 지연시간은 1.123초로 Thinking 모드(144.9초)보다 100배 이상 빠름
• 같은 데이터와 설정에서 자기회귀 파인튜닝 대비 평균 mIoU 1.3점, QA 평균 1.9점 높음

한계

QA는 객관식만 다루고, 입력은 영상 프레임뿐이다(자막·오디오 제외). QA 학습 데이터는 내부에서 구축한 약 24만 문항이라 재현이 어렵다. 지연시간은 모델 forward 시간만 쟀고 전처리와 데이터 전송은 빠져 있다. 일부 QA 벤치마크에서는 Thinking 모드보다 약간 낮다.

의미

영상 에이전트가 진행 상황 확인이나 근거 위치 찾기를 반복할 때, 생성 없이 점수로 바로 결정하면 지연을 크게 줄일 수 있다. 실시간 영상 기반 워크플로를 구성하는 데 실용적인 인터페이스다.

핵심 용어

Temporal grounding

자연어로 묘사한 사건이 영상의 어느 시간 구간에 일어났는지 찾는 과제다.

mIoU(mean IoU)

예측 구간과 정답 구간이 겹치는 정도(교집합/합집합)의 평균이다. 높을수록 위치를 정확히 찾았다는 뜻이다.

Cached / Joint 추론

영상 앞부분 계산을 한 번만 하고 이후 질의마다 재사용하는 방식(Cached)과, 여러 질의를 이어 붙여 한 번의 forward로 모두 점수화하는 방식(Joint)이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Yuhan Zhu, Xiangyu Zeng, Qingyi Si, Chenxu Yang, Yifei Li, Luozheng Qin, Junhao Zhou, Dingyu Yao, 외 · 게시 2026-10-13 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.