힌트는 얼마나 중요한가? 금융 추론에서 Hindsight Self-Distillation의 적용 조건

문제

데이터 상주 규제를 받는 금융기관은 사내에 직접 운영할 수 있는 작은 오픈 웨이트 모델을 써야 하는데, 이런 모델은 다단계 정량 추론에서 프런티어 모델보다 약하다. On-policy Distillation은 강한 외부 Teacher가 필요하고, On-policy Self-Distillation(OPSD)은 완전한 정답 풀이가 필요하다. 그만큼의 정보가 정말 필요한지가 질문이다.

방법

GPT-OSS-20B를 Student로 쓴다. 틀린 문제마다 고정된 자기 복제 모델이 정답을 참고해 첫 오류 단계와 짧은 비평(힌트), 오류 유형을 낸다. 단순 산술 실수는 gradient를 주지 않는다. Trajectory를 오류 직전에서 자르고, 같은 prefix에 힌트를 더 받은 고정 Teacher(자기 복제)의 다음 토큰 분포를 Student가 따르도록 100토큰 Rollout 동안 reverse KL로 학습한다. 에포크마다 실패 문제를 다시 모으고 Teacher를 새로 고정한다. FinanceReasoning 함수 라이브러리로, 회계 관례를 적용해 입력값을 도출해야 하는 다단계 금융 문제 코퍼스도 만들었다.

결과

• FinanceReasoning Hard에서 Fin-SD는 기본 모델 대비 정확도를 3.03%p 높였다. 힌트를 일반적인 고정 피드백으로 바꾼 대조군도 +3.36%p로 같은 수준이었다. 저자들은 향상의 대부분이 힌트 내용이 아니라 감독을 거는 위치에서 온다고 해석했다.
• 파라미터가 약 6배인 GPT-OSS-120B가 쓴 힌트도 자기 힌트보다 의미 있게 낫지 않았다.
• 완전한 풀이를 쓰는 OPSD와 비교해 정확도는 비슷했고(72.19% vs 70.42%), 평가 시 생성 토큰은 9.5% 적었으며, 예산 내 완료율은 +2.44%p로 방향상 더 높았다.
• Fin-SD 학습 후 MMLU-Pro 일반 추론과 FinTrust 14개 지표 컴플라이언스 평가에서 의미 있는 성능 저하가 없었다.

한계

학생 모델은 GPT-OSS-20B 하나이고, 주 평가셋인 FinanceReasoning Hard는 238문항으로 작아 수 %p 차이의 통계적 신뢰도가 제한된다. 저자들은 비산술 실패가 주로 관례 선택 오류인 코퍼스라는 조건에서 결과가 나왔다고 범위를 밝혔다. 오류 유형 분류기 검증은 50건 비공식 점검(96%)이 전부다.

의미

외부 고성능 Teacher나 정답 풀이 없이도 사내 소형 모델의 도메인 추론을 개선할 수 있다는 점은 규제 산업에 실용적이다. '무엇을 알려 주느냐'보다 '어디서 고쳐 주느냐'가 중요하다는 발견은 Self-Distillation 설계를 단순하게 만들 여지를 준다.

핵심 용어

On-policy Distillation

Student가 직접 생성한 Rollout 위에서 Teacher가 토큰마다 분포를 제공해 학습시키는 Distillation(지식 증류) 방식이다.

Self-Distillation

별도 Teacher 없이, 추가 정보를 받은 자기 자신의 복제본을 Teacher로 삼아 Distill하는 방법이다.

Reverse KL

Student 분포 기준으로 Teacher와의 차이를 재는 KL 발산이다. Teacher가 확률을 높게 주는 모드에 집중하는 경향이 있다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• Hugging Face

저자: Johnny Yu, Cyril Gorlla · 게시 2026-10-26 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.