← 주요 논문

논문 리뷰 · 2026년 11월 21일

WeMM-Video: 오픈소스 옴니모달 영상 이해 모델 패밀리

WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding

멀티모달음성·오디오언어 모델 중급 추천 39 cs.CV Tencent

약 1.2T 토큰 사전학습과 3단계 사후학습으로 2B~35B-A3B 옴니모달 모델을 만들어, 오디오-영상 이해에서 오픈소스 최고 수준 성능을 얻었다.

문제

오디오가 함께 있는 영상을 이해하려면 프레임 사이의 세밀한 시간 변화와 소리-장면의 대응을 함께 추론해야 한다. 기존 오픈소스 모델은 핵심 오디오-영상 세부를 놓치거나, 소리를 해당 장면에 맞추지 못하거나, 교차 모달 환각을 일으키는 문제가 있었다.

방법

Qwen3.5(2B/4B/9B)와 Qwen3.6-35B-A3B를 백본으로 쓴다. 여기에 Whisper 기반 오디오 인코더와 윈도 단위 Q-Former(0.1초당 오디오 토큰 1개)를 붙였다. 영상 토큰과 오디오 토큰은 시간순으로 교차 배치하고 텍스트 타임스탬프를 덧붙인다. 사전학습은 3단계다. 오디오 정렬 모듈만 학습하는 단계, 시각 인코더를 뺀 전체를 학습하는 옴니모달 지식 주입 단계, 컨텍스트 확장 단계 순이다. 사후학습도 3단계다. 멀티 Teacher OPD(On-policy Distillation)로 일반 능력을 높이고, 반복 출력을 담은 Hard Negative로 MrDPO를 돌려 생성을 안정화하고, 규칙·루브릭 보상을 쓰는 전문 강화학습으로 마무리한다. 즉답 모드와 사고(thinking) 모드를 모두 지원한다.

결과

한계

Gemini-3.0-Flash와는 여전히 차이가 있고, 다수 벤치마크에서 뒤진다. 사고 모드가 항상 나은 것도 아니어서 FutureOmni(58.4→56.2)와 JointAVBench(67.4→65.9)에서는 즉답 모드보다 낮았다. 비교 모델 수치 일부는 공식 결과가 아니라 저자들이 직접 평가한 값이다. 캡셔닝·상호작용 평가는 GPT 계열 등 LLM 판정기에 의존한다. 학습 데이터의 상세 구성과 공개 여부는 본문 발췌에서 확인되지 않았다.

의미

작은 크기(2B~9B)부터 오디오와 영상을 함께 이해하는 오픈 모델을 평가·재현 파이프라인과 함께 공개했다. 라이브 커머스, 숏폼 분석 같은 실서비스 영상 AI를 직접 구축하려는 팀에게 실용적인 출발점이다.

핵심 용어

옴니모달(Omni-modal)
텍스트, 이미지, 오디오, 영상을 하나의 모델에서 함께 입력받아 처리하는 방식이다.
OPD(On-policy Distillation)
Student 모델이 직접 생성한 출력에 대해 Teacher 모델이 감독 신호를 주는 Distillation 방식이다. 이 논문은 여러 Teacher를 모달리티별로 나눠 썼다.
MrDPO
여러 라운드에 걸쳐 DPO를 반복하는 선호 최적화 기법이다. 여기서는 반복·무한 생성 사례를 Hard Negative로 삼아 출력 반복을 줄이는 데 썼다.
하이브리드 사고(Hybrid-thinking)
빠른 즉답 모드와 단계별 추론을 하는 사고 모드를 한 모델에서 골라 쓸 수 있게 한 구성이다.

원문

저자: Changli Tang, Jie Yang, Tianyi Wang, Lei Li, Daoze Zhang, Zijie Xin, Zhan Liu, Li Li, 외 · 게시 2026-11-19 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.