논문 리뷰 · 2026년 11월 21일
WeMM-Video: 오픈소스 옴니모달 영상 이해 모델 패밀리
WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding
약 1.2T 토큰 사전학습과 3단계 사후학습으로 2B~35B-A3B 옴니모달 모델을 만들어, 오디오-영상 이해에서 오픈소스 최고 수준 성능을 얻었다.
문제
오디오가 함께 있는 영상을 이해하려면 프레임 사이의 세밀한 시간 변화와 소리-장면의 대응을 함께 추론해야 한다. 기존 오픈소스 모델은 핵심 오디오-영상 세부를 놓치거나, 소리를 해당 장면에 맞추지 못하거나, 교차 모달 환각을 일으키는 문제가 있었다.
방법
Qwen3.5(2B/4B/9B)와 Qwen3.6-35B-A3B를 백본으로 쓴다. 여기에 Whisper 기반 오디오 인코더와 윈도 단위 Q-Former(0.1초당 오디오 토큰 1개)를 붙였다. 영상 토큰과 오디오 토큰은 시간순으로 교차 배치하고 텍스트 타임스탬프를 덧붙인다. 사전학습은 3단계다. 오디오 정렬 모듈만 학습하는 단계, 시각 인코더를 뺀 전체를 학습하는 옴니모달 지식 주입 단계, 컨텍스트 확장 단계 순이다. 사후학습도 3단계다. 멀티 Teacher OPD(On-policy Distillation)로 일반 능력을 높이고, 반복 출력을 담은 Hard Negative로 MrDPO를 돌려 생성을 안정화하고, 규칙·루브릭 보상을 쓰는 전문 강화학습으로 마무리한다. 즉답 모드와 사고(thinking) 모드를 모두 지원한다.
결과
- 35B-A3B(Thinking)는 일반 오디오-영상 이해 벤치마크 17개 중 16개에서 Seed2.0-Mini-0428을, 16개에서 Qwen3.5-Omni-Flash를 앞섰다.
- Video-MME(오디오 포함)에서 35B-A3B(Thinking)는 86.4로 Seed2.0-Mini(83.6)와 Qwen3.5-Omni-Flash(79.3)보다 높았지만 Gemini-3.0-Flash(88.6)보다는 낮았다.
- 9B(Thinking)는 같은 벤치마크에서 85.1로 Qwen3-Omni-30B-A3B-Instruct(77.3)를 앞섰고, 저자들은 9B가 대부분의 일반 오디오-영상 과제에서 이 30B급 모델을 넘었다고 보고했다.
- 35B-A3B의 즉답 모드와 사고 모드를 비교하면 대부분 과제에서 사고 모드가 높았다(예: SciVideoBench 57.8→69.4).
한계
Gemini-3.0-Flash와는 여전히 차이가 있고, 다수 벤치마크에서 뒤진다. 사고 모드가 항상 나은 것도 아니어서 FutureOmni(58.4→56.2)와 JointAVBench(67.4→65.9)에서는 즉답 모드보다 낮았다. 비교 모델 수치 일부는 공식 결과가 아니라 저자들이 직접 평가한 값이다. 캡셔닝·상호작용 평가는 GPT 계열 등 LLM 판정기에 의존한다. 학습 데이터의 상세 구성과 공개 여부는 본문 발췌에서 확인되지 않았다.
의미
작은 크기(2B~9B)부터 오디오와 영상을 함께 이해하는 오픈 모델을 평가·재현 파이프라인과 함께 공개했다. 라이브 커머스, 숏폼 분석 같은 실서비스 영상 AI를 직접 구축하려는 팀에게 실용적인 출발점이다.
핵심 용어
- 옴니모달(Omni-modal)
- 텍스트, 이미지, 오디오, 영상을 하나의 모델에서 함께 입력받아 처리하는 방식이다.
- OPD(On-policy Distillation)
- Student 모델이 직접 생성한 출력에 대해 Teacher 모델이 감독 신호를 주는 Distillation 방식이다. 이 논문은 여러 Teacher를 모달리티별로 나눠 썼다.
- MrDPO
- 여러 라운드에 걸쳐 DPO를 반복하는 선호 최적화 기법이다. 여기서는 반복·무한 생성 사례를 Hard Negative로 삼아 출력 반복을 줄이는 데 썼다.
- 하이브리드 사고(Hybrid-thinking)
- 빠른 즉답 모드와 단계별 추론을 하는 사고 모드를 한 모델에서 골라 쓸 수 있게 한 구성이다.
원문
저자: Changli Tang, Jie Yang, Tianyi Wang, Lei Li, Daoze Zhang, Zijie Xin, Zhan Liu, Li Li, 외 · 게시 2026-11-19 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.