논문 리뷰 · 2026년 10월 31일
Youtu-Parsing-Omni: 인코더 하나와 스키마 하나로 모든 모달리티를 파싱
Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities
모든 모달리티를 공유 인코더 하나로 읽고 출력 스키마를 하나로 통일한 5B 파서로, 문서·오디오·비디오 파싱에서 최고 수준 성능을 얻었다.
문제
에이전트가 문서·이미지·오디오·비디오의 근거를 찾고 인용하려면 위치·시간이 표시된 구조화 기록이 필요하다. 하지만 기존 파서는 입력 유형마다 모델과 출력 형식이 다르다. 기존 옴니모달 모델은 비전·오디오 인코더를 따로 두어 인지 단계에서 두 모달리티가 섞이지 않고, 시간축도 따로 매긴다.
방법
사전학습 언어 모델에서 초기화한 공유 Transformer 인코더(Youtu-Omni-Encoder)가 이미지·오디오·비디오를 같은 가중치와 하나의 (t,h,w) 위치 인코딩으로 처리한다. 일부 Fusion 층에서는 짧은 시간 창 안에서 비디오 프레임이 같은 순간의 오디오에 Attention한다. 10개 파싱 태스크의 출력은 공간 bbox나 시간 구간이 붙은 JSON 스키마(OmniSchema)로 통일했다. SFT와 스키마별 RLVR 뒤에는 OSAD를 적용한다. OSAD에서 모델은 자신이 만든 Rollout을, 정답 파싱을 추가로 본 자기 사본(Teacher)의 토큰 단위 목표에 맞춰 학습하고, 학습된 가중치로 Teacher를 매 라운드 갱신하는 On-policy Distillation이다.
결과
- 5B 체크포인트 하나로 OmniDocBench v1.6 Overall 96.96을 기록해 최고 성능을 냈다고 저자들은 보고했다.
- OmniParsingBench 평균 75.08로 Logics-Parsing-Omni(72.26)를 앞서 공개 가중치 모델 중 1위였으며, 이득은 오디오·비디오에 집중되었다.
- 차트 파싱 종합 점수 95.02로 비교 시스템 중 가장 높았다.
- 화학 구조 인식에서 정확한 지문 일치율([email protected]) 54.2로 DeepSeek-OCR 2(49.6)를 앞섰다.
- 인쇄 악보 전사 CER 22.73으로 전용 모델 LEGATO(원 논문 보고치 23.30)와 비슷한 수준이었다.
한계
OmniParsingBench에서는 공개 가중치 모델 중 1위로, 비공개 모델까지 포함한 1위는 아니다. LEGATO 수치는 원 논문 보고치를 인용한 것이라 같은 조건에서 비교한 것이 아니다. 오디오·비디오 타임스탬프 해상도는 1초다. 새 모달리티를 추가할 때 구조상 Stem과 Projector만 있으면 되지만, 공유 가중치는 다시 학습해야 한다. 제공된 본문은 실험 세부 앞에서 잘려 있어 Ablation 결과는 확인하지 못했다.
의미
원본 미디어를 한 번만 위치·시간 정보가 붙은 텍스트 기록으로 바꿔 두면, 텍스트 전용 LLM도 그 기록을 읽고 근거를 추적할 수 있다. 멀티모달 RAG와 에이전트용 인지 계층을 모델 하나로 운영할 수 있다는 점에서 의미가 있다.
핵심 용어
- 옴니모달 파싱
- 문서·이미지·오디오·비디오를 공간 위치나 시간 구간이 붙은 구조화 텍스트 기록으로 바꾸는 작업이다.
- On-policy Distillation
- Student가 직접 생성한 출력 위에서 Teacher의 토큰 단위 분포를 목표로 학습하는 방식이다. 추론 때와 같은 조건에서 학습할 수 있다.
- OmniSchema
- 10개 파싱 태스크의 출력을 하나로 묶은 JSON 스키마다. 각 요소에 bbox나 타임스탬프가 붙어 출처를 추적할 수 있다.
원문
저자: Yunhang Shen, Zhangquan Chen, Xiaotian Li, Zhongpeng Cai, Qing Zhou, Zekai Zhang, Kun Zhang, Zezhong Wu, 외 · 게시 2026-10-29 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.