MedVTok: 범용 의료 비주얼 토크나이저

문제

기존 의료 비주얼 토크나이저는 특정 차원(2D 또는 3D)과 영상 모달리티에 묶여 있어, 멀티모달 의료 AI가 서로 호환되지 않는 표현을 따로 다뤄야 한다. 하나의 토크나이저를 만들려면 3D 볼륨의 슬라이스 간 해부학적 연속성을 보존하고, 모달리티마다 다른 임상 의미를 함께 담아야 한다.

방법

입력을 차원과 무관하게 패치로 나누고 좌표 기반 RoPE를 쓰는 Transformer 인코더-디코더로 2D·3D를 함께 처리한다. 복원 손실(픽셀, LPIPS, 적대적 손실)에 더해, 인접 슬라이스 간 1차·2차 차분이 원본과 같도록 맞추는 Slice Differential Regularization(SliDR)을 둔다. 의미 학습에는 Multi-Expert Representation Alignment(MERA)를 쓴다. 모달리티별 전문가 인코더 특징을 공유 공간으로 투영해 대조 학습하고(shared), 토크나이저 표현을 각 전문가 공간으로 되돌려 코사인 유사도를 맞춘다(expert). 이미지 2,876만여 장과 볼륨 7만여 개로 학습하며, 1단계는 2D만, 2단계는 2D·3D를 번갈아 학습한다.

결과

• 2D 복원(9개 모달리티)에서 PSNR·SSIM 모두 전 모달리티 1위였고, 평균 PSNR 40.18dB·SSIM 94.16%로 차순위 AToken(38.22dB·91.72%)보다 높았다.
• 격차는 병리 영상에서 두드러졌다. PSNR 30.16dB로 AToken(28.57dB)과 MedITok(26.03dB)보다 높았다.
• 3D 복원에서는 CT PSNR 36.50dB(AToken 35.68), MRI PSNR 31.77dB(AToken 31.46)로 가장 높았다.
• 저자들은 분류, 검색, 분할, 합성, VQA, 판독문 생성 등 24개 벤치마크에서 최고 수준 성능을 달성했다고 보고했다.

한계

제공된 본문이 복원 실험 이후 끊겨 분류·분할·VQA 등 하위 과제의 수치와 기준선 비교는 확인하지 못했다. 3D 데이터(7만 개)가 2D(2,876만 장)보다 훨씬 적고, 3D 복원에서 AToken과의 차이는 크지 않다. 모든 평가는 토크나이저를 고정하고 토큰 품질만 본 것이며, 임상 현장 검증은 포함되지 않는다.

의미

의료 멀티모달 모델이 CT·MRI·병리·안저 등 여러 영상을 같은 형식의 토큰으로 받을 수 있으면, 모달리티별 인코더를 따로 붙이는 부담이 줄고 하나의 모델로 여러 과제를 다루기 쉬워진다. 범용 의료 파운데이션 모델의 입력 인터페이스 후보로 볼 수 있다.

핵심 용어

비주얼 토크나이저

이미지나 볼륨을 모델이 다루기 쉬운 압축된 토큰 시퀀스로 바꾸고, 다시 복원할 수 있게 하는 인코더-디코더다.

Slice Differential Regularization

3D 볼륨에서 인접 슬라이스 간 변화량(1차·2차 차분)을 원본과 맞추도록 하는 손실이다. 슬라이스 사이의 불연속을 줄인다.

Multi-Expert Representation Alignment

모달리티별 전문가 인코더 여러 개의 특징에 토크나이저 표현을 맞추는 방법이다. 공유 공간 정렬과 전문가 공간 정렬을 함께 써서 모달리티 고유 정보를 지킨다.

PSNR / SSIM

복원 영상이 원본과 얼마나 같은지 재는 지표다. PSNR은 픽셀 오차 기반, SSIM은 구조적 유사도 기반이며 둘 다 높을수록 좋다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Chenglong Ma, Yuanfeng Ji, Junzhi Ning, Jiyao Liu, Yujie Wei, Shaohao Rui, Chaoyang Zhang, Wenjie Li, 외 · 게시 2026-10-26 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.