LLM은 자기가 아는 것을 모른다: 금융 백테스트를 위한 시간적 자기지식 벤치마크

문제

LLM의 금융 예측력을 과거 데이터로 백테스트하려면, 모델이 예측 대상의 실제 결과를 이미 학습하지 않았어야 한다. 실무에서는 공급사가 밝힌 지식 컷오프를 믿거나, 모델에게 아는지 묻거나, '과거 날짜 기준으로 답하라'고 지시해 이를 막는다. 하지만 이런 안전장치가 실제로 믿을 만한지는 검증된 적이 거의 없다.

방법

FinDendro는 1999~2026년 미국 사실 2,226개로 구성된다. FRED 거시 지표 12종의 최초 발표값, 대형주 50개의 월말 종가(분할 조정 전), 연준 금리 결정이다. 사실마다 프롬프트 4개를 만든다. 값 고르기(Task 1), 각 후보값을 '안다/추측한다' 주장과 짝지어 고르게 하는 Recall·Predict 질문(Task 2), 그리고 '오늘이 과거 특정 날짜라고 가정하라'를 붙인 Predict(Task 3)다. 전월 값 반복으로 맞힐 수 있는 수치 사실은 제외하고, 금리 결정은 '동결'이 78%라서 균형 정확도를 써 우연 정확도를 약 0.27로 맞췄다. 프런티어 모델 4개, 소형 오픈 모델 2개, 시점 고정(point-in-time) 모델 3개 계열을 평가했다.

결과

• GPT-5는 통제된 사실의 76%를 맞혔지만 안다고 주장한 비율은 38%였다. 측정된 지식 기간 안에서는 '모른다'고 한 사실도 75%를 맞혔고, 기간 이후에는 33%였다. 저자들은 대부분의 프런티어 모델이 자기 지식을 과소 보고한다고 보고했다.
• Llama-3.3-70B의 정확도는 2021년 중반 이후 우연 수준으로 떨어졌다. 공급사가 밝힌 컷오프(2023년 12월)보다 훨씬 이르며, 안다는 주장은 2023년 초까지 이어졌다. 저자들은 안다는 주장이 측정된 경계보다 최대 7분기까지 이어질 수 있다고 보고했다.
• GPT-5에 과거 날짜 기준으로 답하라고 지시하면 '이미 안다'는 주장은 39%에서 1%로 줄었지만 정확도는 거의 그대로였다.
• 소형 시점 고정 모델들은 학습 컷오프 앞뒤 모두에서 정확도가 우연 수준에 가까웠다.

한계

사실은 미국 거시 지표, 대형주 50개 주가, 연준 결정에 한정되며 2021년 이전은 표본이 성기다. 모든 문항이 객관식이라 자유 서술 예측에서의 누출은 직접 재지 않는다. 평가한 프런티어 모델은 4개다. 제공된 본문 범위에서는 일부 모델별 세부 결과를 확인할 수 없다.

의미

LLM 기반 투자·예측 전략의 백테스트 성과가 '이미 아는 답'으로 부풀려질 수 있음을 구체 수치로 보여 준다. 공식 컷오프나 프롬프트 지시 대신, 모델의 실제 지식 경계를 행동으로 측정해 백테스트 기간을 고르라는 실무 절차를 제시한다.

핵심 용어

Look-ahead bias(사후 정보 누출)

예측 시점에는 알 수 없던 미래 정보가 모델에 들어 있어, 백테스트 성과가 실제보다 좋게 나오는 문제다.

지식 컷오프(knowledge cutoff)

모델 학습 데이터가 끝나는 시점이다. 이 논문은 공식 컷오프, 실제 측정된 경계, 모델이 스스로 주장하는 경계가 서로 다를 수 있음을 보인다.

균형 정확도(balanced accuracy)

클래스별 정답률을 평균한 값이다. '동결'처럼 한쪽이 압도적으로 많은 결과를 늘 찍어서 높은 점수를 받는 것을 막는다.

Point-in-time 모델

특정 시점 이전 데이터만으로 학습해 그 이후 정보가 없도록 만든 모델이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Lingfei Qian, Yan Wang, Xueqing Peng, Yupeng Cao, Yuechen Jiang, Zhuohan Xie, Anke Xu, Wenbo Cao, 외 · 게시 2026-11-04 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.