OmniCompass: 옴니모달 영상 Grounding·이해를 함께 평가하는 종합 벤치마크

문제

기존 영상 이해 벤치마크는 평가 축의 일부만 다룬다. 시각 근거만 보거나 시청각 근거만 보고, 대상을 텍스트로만 지정하며, QA와 Grounding 중 하나에 치우친다. 그래서 모델이 대상을 찾지 못한 것인지, 위치를 못 잡은 것인지, 내용을 이해하지 못한 것인지 구분하기 어렵다.

방법

두 트랙을 만들었다. OmniCompass-VL(영상 820개, 인스턴스 2,460개)은 시각 근거만으로 풀 수 있는 과제이고, OmniCompass-AV(직접 수집한 영화·TV·예능·뉴스 영상 240개, 인스턴스 720개)는 원본 오디오까지 함께 봐야 하는 과제다. 영상마다 시간 Grounding(언제), 공간 Grounding(어디), QA(무엇)를 붙였다. 모든 인스턴스는 같은 대상을 텍스트로만 지정한 버전과 텍스트+참조 이미지로 지정한 버전을 짝으로 갖는다. 두 설정의 정답률과 예측 일치도를 함께 보는 CS(Cross-Specification Consistency Score)를 새로 정의했다. 4명의 전문 라벨러가 약 1,800시간을 들여 수작업으로 라벨링하고 여러 차례 검증했다.

결과

• 저자들은 OmniCompass-VL 종합 점수에서 상용 모델 중 Gemini-3.8-Flash(42.8%), 오픈소스 모델 중 Kimi-K3(39.6%)가 가장 높았다고 보고했다.
• 가장 좋은 상용 모델과 가장 좋은 오픈소스 모델의 평균 CS 차이는 VL 트랙에서 3.2%, AV 트랙에서 32.8%였다. 오픈소스 모델은 특히 시청각 이해에서 뒤처졌다.
• 참조 이미지를 추가한 Text+Image 설정이 단일 설정 평균을 높인 모델은 36개 중 11개뿐이었다.
• QA 성능이 높아도 시간·공간 Grounding은 약했고, 같은 대상을 다르게 지정했을 때 예측이 서로 어긋나는 경우가 많았다.
• 추가 분석에서 타임스탬프를 넣으면 모든 과제와 트랙에서 성능이 크게 올랐다. AV 트랙에서는 오디오를 넣으면 QA와 시간 Grounding 성능이 꾸준히 올랐다.

한계

AV 트랙은 영상 240개, 인스턴스 720개로 규모가 작다. 라벨링은 라벨러 4명과 책임 전문가 1명이 맡았다. 입력은 균일하게 샘플링한 프레임이어서, 결과가 프레임 수 등 입력 설정에 영향을 받을 수 있다. 제공된 본문은 구축 과정 중간에서 잘려 있어 세부 실험 설정과 저자들이 밝힌 한계는 확인하지 못했다.

의미

영상 MLLM을 서비스에 붙일 때 '답은 그럴듯한데 구간이나 위치를 못 짚는' 실패를 따로 측정할 수 있다. 대상 지정 방식에 따라 예측이 일관된지도 볼 수 있어, 영상 검색·하이라이트 추출 같은 실무 과제의 모델 선택에 참고가 된다.

핵심 용어

Temporal/Spatial Grounding

영상에서 질문이 가리키는 대상이 나오는 시간 구간(Temporal)이나 화면 속 위치 박스(Spatial)를 찾아내는 과제.

옴니모달(Omni-modal) 모델

영상 프레임뿐 아니라 오디오와 텍스트까지 한 모델에서 함께 처리하는 멀티모달 모델.

CS(Cross-Specification Consistency Score)

같은 대상을 텍스트로만 지정했을 때와 이미지를 곁들여 지정했을 때 두 예측이 모두 맞고 서로 일치하는지를 함께 보는 지표. 둘 중 하나라도 틀리거나 서로 어긋나면 점수가 낮아진다.

tIoU

예측한 시간 구간과 정답 구간이 얼마나 겹치는지를 나타내는 비율(교집합/합집합).

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Xuyang Liu, Shihao Wang, Xinyu Wei, Minghan Li, Zeqing Wang, Zuhao Yang, Zichen Wen, Lei Zhang · 게시 2026-10-13 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.