논문 리뷰 · 2026년 10월 27일
이산 토큰을 넘어: 의료 비전-언어 모델에서 수치 연속성 보존하기
Beyond Discrete Tokens: Preserving Numerical Continuity in Medical Vision-Language Models
자기회귀 텍스트 생성과 확산 기반 연속 수치 예측을 하나의 VLM에 결합한 HAD-VLM으로, 심장 초음파 측정 오차를 기존 VLM 대비 21.4~37.6% 줄였다.
문제
초음파 측정값(거리·두께 등)은 연속 값이다. 그런데 VLM은 숫자를 토큰 열로 쪼개 다음 토큰 분류로 예측하므로, 오차 크기를 반영하지 못한다. 자릿수나 소수점 하나만 틀려도 값이 크게 달라진다. 기존 측정 모델은 사전에 정한 과제에만 대응해, 프롬프트로 측정 대상을 바꾸기 어렵다.
방법
CLIP ViT-L/14에 Visual Prompt Tuning을 적용해 초음파에 맞추고, Vicuna-7B를 백본으로 쓴다. 측정값은 캘리퍼 양 끝점 좌표 4개와 길이 1개로 이뤄진 5-튜플로 표현한다. 모델이 '['를 출력하면 텍스트 생성을 멈추고, LLM을 denoising 백본으로 써 DDIM 4단계로 5-튜플을 예측한 뒤 텍스트 생성을 이어 간다. 좌표로 계산한 길이와 직접 예측한 길이의 차이가 검증셋 85분위 임계값 이하이면 둘을 평균한다. 20회 샘플링한 결과의 중앙값을 최종 값으로 쓴다.
결과
- EchoNet-LVH에서 MAE가 IVSd 1.36, LVIDd 2.77, LVIDs 3.05, LVPWd 1.16mm로, Vicuna 기반 자기회귀 VLM 대비 오차를 21.4~37.6% 줄였다.
- 4개 과제 모두에서 파인튜닝한 Qwen3-VL과 VLM+MLP 회귀보다 MAE가 낮았다(예: LVIDd 2.77mm vs MLP 회귀 3.00mm, Qwen3-VL 3.71mm).
- LVIDd·LVIDs MAE는 다른 연구가 보고한 관찰자 간 차이(2.97, 3.60mm)보다 수치상 낮았다.
- X-ray 척추 측정에서 MAE를 11.4픽셀에서 6.7픽셀로 줄였고, 평가한 의료 QA 데이터셋에서는 질의응답 성능이 유지됐다.
한계
초음파 평가는 EchoNet-LVH 한 데이터셋의 4개 측정에 한정된다. 관찰자 간 차이는 별도 연구의 수치와 비교한 것이다. 의료 QA 유지도 하나의 데이터셋에서만 확인했다. 20회 샘플링과 임계값 보정이 필요해 추론 비용과 설정 의존성이 있다.
의미
자연어로 측정을 요청하면서도 임상에 필요한 수치 정밀도를 확보하려는 시도다. 숫자를 토큰으로 다루는 VLM의 한계를 연속 예측 헤드로 보완하는 방식은 의료 외의 정량 측정 과제에도 응용할 수 있다.
핵심 용어
- 하이브리드 자기회귀-확산 모델
- 텍스트는 토큰 단위 자기회귀로, 연속 값은 확산(노이즈 제거) 과정으로 같은 백본에서 생성하는 구조다.
- 5-튜플 측정 표현
- 캘리퍼 시작점·끝점 좌표와 길이를 하나의 연속 벡터로 묶은 표현이다. 위치와 수치를 함께 예측하게 한다.
- 좌표-길이 일관성
- 끝점 좌표로 계산한 길이와 직접 예측한 길이가 비슷하면 평균하고, 차이가 크면 직접 예측값을 쓰는 후처리 규칙이다.
- Visual Prompt Tuning(VPT)
- 사전학습된 비전 인코더는 고정하고, 학습 가능한 프롬프트 토큰만 추가로 학습해 새 도메인에 맞추는 방법이다.
원문
저자: Dianye Huang, Jiamei Guo, Yue Zhou, Mingde Li, Yi Xiong, Wei Wang, Nassir Navab, Zhongliang Jiang · 게시 2026-10-23 · 라이선스 CC BY 4.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.