논문 리뷰 · 2026년 11월 1일

타임라인이 말하는 증거: 시간적 임상 가설의 근거 기반 유의성 검정

Testimony from Timelines: Evidence-Grounded Significance Testing of Temporal Clinical Hypotheses

백신 이상반응 타임라인 위의 시간적 가설 8,735개에 단계별 정답을 단 벤치마크 STRATA와 단계형 검증 방식 ART를 만들어, LLM이 어떤 기록을 근거로 세는지에서 가장 많이 틀린다는 점을 드러냈다.

문제

'백신 접종 후 증상 A가 B보다 먼저 나타난다' 같은 집단 수준의 시간적 가설은 올바른 기록을 대상으로 한 유의성 검정으로만 판정할 수 있다. 검증하려면 귀무가설 설정, 검정 선택, 어떤 기록을 분모·분자로 셀지를 모두 정해야 한다. 이 중 하나가 틀려도 결론은 우연히 맞을 수 있다. 그런데 기존 LLM 데이터 분석 벤치마크는 관련 데이터를 미리 건네주고 최종 결론만 채점한다.

방법

STRATA는 MedTempo의 VAERS 보고 3,166건(코로나19 백신 3종)에서 만든 임상 타임라인 위에 26개 템플릿 그룹, 7개 가설 유형(선행, 동시 발생, 첫/마지막, 위치, 근접, 임계값 등), 3단계 난이도, 4가지 문체로 가설 8,735개를 생성한다. 각 가설에는 계획(귀무가설·검정·분모 규칙), 증거 집합(분모 D·분자 N), p-값, 판정(지지/반박/불충분 세부 유형)의 정답이 붙는다. 정답은 공개된 코드북 규칙으로 기계적으로 계산되고, 결정론적 오라클이 재현한다. 판정이 한쪽 방향으로 유의한 사실은 반대 방향 가설로도 함께 출제해 양쪽을 모두 지지하는 시스템을 잡아낸다. ART(Articulate, Retrieve, Test)는 1) 가설을 계획으로 표현하고, 2) 계획에 맞는 증거 집합을 조회하고, 3) 정해진 검정을 결정론적으로 실행한다. 모델이 맡는 1·2단계에는 최대 2회의 검증·수정 루프가 있고, 하네스가 계획의 각 요소를 정확한 규칙으로 풀어 주는 계약(contract) 방식을 쓴다.

결과

테스트셋 1,500개에서 gemma4-31B 기준 ART의 판정 정확도는 0.981로, EHRSQL 단일 쿼리 기준선(0.634), EHRAgent(0.733)보다 높았다. 같은 방식에서 Opus 5.5(0.991), GPT-5.6(0.981)과 0.01 이내 차이였다.
Qwen2.5-32B 조합에서도 ART 정확도는 0.806으로 EHRAgent(0.596), EHRSQL(0.528)보다 높았다.
저자들은 시스템의 주된 실패 지점이 어떤 기록을 근거로 셀지 고르는 단계라고 보고했다. 판정 정확도만으로는 드러나지 않는 '판정–증거 격차'다.
프런티어 모델은 코드북을 받으면 잘 풀었다. 코드북을 준 EHRSQL-C에서 Opus 5.5는 1.000, GPT-5.6은 0.984를 기록했다.
Ablation(gemma4-31B): 모델이 직접 판정하게 하면 0.779, 검증·수정 루프를 빼면 0.837, 계약 대신 서술형 계획을 쓰면 0.947로 떨어졌다.

한계

데이터가 코로나19 백신 3종의 VAERS 보고 3,166건에 한정된다. 지지된 가설도 보고된 내용의 규칙성일 뿐 인과 효과를 뜻하지 않는다. 두 코호트를 비교하는 Hard 가설은 87개(테스트 82개)로 적다. 가설은 템플릿 슬롯 채우기로 기계적으로 만들어져 실제 웹 주장의 다양성을 다 담지 못할 수 있다. 정답은 코드북의 약정(예: 같은 단계 사건 처리)에 의존한다. API 비용 때문에 일부 프런티어 모델 실험과 Ablation은 실행되지 않았다.

의미

의료처럼 오판 비용이 큰 분야에서 LLM이 내놓는 '그럴듯한 통계적 결론'이 맞는 이유로 맞았는지 확인하는 평가 틀을 제공한다. 최종 정답률만 보는 기존 평가가 놓치는 근거 선택 오류를 드러낸다. 결정을 단계별로 나누고 검정은 결정론적으로 실행하는 설계만으로 31B 공개 모델이 프런티어 모델에 근접할 수 있음을 보여 준다.

핵심 용어

시간적 가설 검증(Temporal Hypothesis Verification): 여러 환자 타임라인에 걸친 사건 순서·시점에 관한 주장을, 귀무가설과 유의성 검정으로 지지/반박/불충분 중 하나로 판정하는 과제다.
분모·분자(Denominator/Numerator) 집합: 가설을 판정할 자격이 있는 보고 집합(D)과 그중 가설을 지지하는 보고 집합(N)이다. 예를 들어 '선행' 가설에서는 두 사건이 서로 다른 단계에 있는 보고만 분모에 들어간다.
판정–증거 격차(Verdict–Evidence Gap): 최종 판정은 맞았지만 그 근거로 쓴 기록 집합은 틀린 경우다. 정확도 지표만으로는 드러나지 않는다.
코드북(Codebook): 자연어 가설을 검정 가능한 모집단과 검정으로 바꾸는 약정을 텍스트로 정리한 규칙집이다. 시스템에 줄 수도, 감출 수도 있다.

원문

저자: Chengyang He, Wenlong Zhang, Koduvayur Subbalakshmi, Ping Wang · 게시 2026-10-29 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.