논문 리뷰 · 2026년 11월 7일
NPCBench: 비인두암 다중모달 진료 경로 추론을 위한 임상 수련형 벤치마크
NPCBench: A Clinical Apprenticeship Benchmark for Multimodal Care-Pathway Reasoning in Nasopharyngeal Carcinoma
비인두암 진료 과정을 가이드라인 지식부터 환자별 진료 경로까지 단계별로 구성한 벤치마크를 만들어, 개별 과제를 잘 풀어도 같은 환자의 진단·치료를 모두 맞히는 비율은 최대 23%임을 보였다.
문제
기존 의료 벤치마크는 개별 사실 질문, 단일 이미지 과제, 정적인 증례로 임상 역량을 쪼개 평가한다. 그래서 모델이 세부 전문 지식과 다중모달 근거를 통합하고 진료 과정 내내 환자 상태를 추적하는지는 잘 드러나지 않는다.
방법
전문의 수련 과정을 본떠 6단계(L1 가이드라인 기억, L2 적용, L3 병리·MRI 근거 판독, L4 증례 계획, L5 종단적 결정 수정, L6 CarePath 에피소드)와 개방형 상담 루브릭(O1)을 구성했다. 구성은 4,777개 문항과 100명 환자 CarePath(채점 과제 417개)다. CSCO·NCCN 가이드라인과 비식별화된 실제 환자 기록을 쓰고, 종양·병리·영상 전문의가 검토했다. 핵심 지표 Strict는 같은 환자에서 병리·MRI T병기·모든 치료 답이 함께 맞아야 성공으로 친다. 30개 모델(다중모달 21개)을 평가했다.
결과
- 가이드라인 기억 정확도는 92%를 넘었지만, 증례 계획(L4) 최고 정확도는 71.9%(Gemini-3.1-Pro-Preview)였다.
- CarePath Strict 성공률은 최고 23.0%(Claude-Sonnet-4.6)였다. Gemini-3.1-Pro-Preview는 치료 결정 정확도 89.9%였지만 Strict는 11.0%에 그쳤다.
- MRI T병기 최고 정확도는 43.5%로 다수 클래스 기준선(37.5%)을 조금 넘었다. 18개 해부 구조 침범을 모두 맞히는 비율은 5.0% 미만이었다.
- 선택지를 제거하면 가이드라인 문항 정확도가 GPT-5.1은 15.5%p, GPT-4.1은 12.7%p, Gemini-3.1은 7.0%p 떨어졌다.
- 상담 점수 1위 GPT-5.1도 주 judge 기준 응답의 14.6%에서 중대 오류 기준에 걸렸다. 루브릭 judge는 의사 판정 대비 민감도–특이도 불균형을 보였다.
한계
비인두암 한 질환에 한정되고, 주로 중국 가이드라인과 한 기관 데이터를 쓴다(외부 검증은 53명). CarePath 치료 결정은 모델 기반 난이도 보강으로 골랐고, 일부 모델은 구축에 사용됐다. 환자 100명 규모라 Strict 수치의 불확실성이 크다. 상담 평가는 자동 judge에 의존하며 judge 편향이 확인됐다.
의미
의료 AI 평가를 개별 정답률에서 환자 단위의 진료 경로 일관성으로 넓혔다. 시험형 점수가 높아도 실제 진료 흐름에서는 근거 판독과 결정이 함께 맞지 않을 수 있다는 점을 수치로 보여 준다. 임상 도입 전 검증 방식에 시사점을 준다.
핵심 용어
- CarePath 에피소드
- 한 환자의 진단부터 치료·추적까지 연결된 결정들을 묶어, 모두 맞아야 성공으로 치는 환자 단위 평가 단위다.
- Composition gap
- 개별 과제 점수는 높지만 같은 환자에 대한 여러 결정을 동시에 맞히지 못하는 격차를 말한다.
- TNM 병기
- 종양 크기·침범(T), 림프절 전이(N), 원격 전이(M)로 암의 진행 정도를 분류하는 체계다. 치료 결정의 기준이 된다.
- 루브릭 기반 채점
- 개방형 답변을 필수 요구사항 충족과 중대·경미 오류 항목으로 나눠 점수를 매기는 방식이다.
원문
저자: Pengkai Wang, Wei-Wei Zhang, Yan Li, Min Tang, Zhitian Hou, Zeyu Liu, Guanghao Zhu, Yuanyi Wang, 외 · 게시 2026-11-05 · 라이선스 CC BY 4.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.