논문 리뷰 · 2026년 11월 13일
구조화된 교과서로 수학 증명 학습 데이터 확장하기 (TOME-Math)
Scaling Mathematical Proof Supervision from Structured Textbooks
수학 교과서 2,118권을 장 순서·명제 의존 관계를 보존한 증명 QA 38만 건으로 변환해, 30B 모델의 6개 벤치마크 평균을 16.7%p 높였다.
문제
수학 학습 데이터는 대개 서로 독립된 '문제→풀이' 쌍으로 만들어진다. 이 과정에서 교과서의 장 순서, 정리와 증명의 연결, 선행 명제 참조 같은 구조가 사라진다. 저자들은 이 구조를 보존하면서 자연어 증명 학습 데이터를 대규모로 늘리는 방법이 아직 뚜렷하지 않다고 지적한다.
방법
DeepSeek-OCR로 PDF를 Markdown으로 바꾸고, gpt-oss-120b와 상태 머신으로 목차와 장 경계를 복원한다. Gemini 계열 모델로 정리·보조정리·정의와 그 증명을 추출해 Proof QA(205,861건)를 만든다. 증명 안에서 생략된 추론 단계(gap)를 찾아 독립된 명제와 증명으로 다시 써서 Gap QA(174,431건)를 만든다. 각 레코드에는 책·장·출처 위치와 참조 명제 정보가 붙고, LLM 심사기가 5개 축(완전성·정확성·LaTeX 형식·자기완결성·원자성)으로 품질을 검사한다. 이렇게 만든 데이터로 Qwen3-30B-A3B-Base를 SFT(지도 파인튜닝)하고, 구조 기반 검색과 교과서 순서 커리큘럼의 효과를 따로 실험한다.
결과
- 6개 벤치마크(TOME-LongForm, TOME-Objective, MiniF2F, ProofNet, MATH-500, AIME 2026) 단순 평균이 기본 모델 29.17%에서 45.83%로 올랐고, 공개 SFT 데이터 MathInstruct(41.10%)·MetaMath(34.64%)·OpenMath1(29.13%)보다 높았다.
- 6개 중 5개 벤치마크에서 1위였다. AIME 2026에서는 10.19%로 MathInstruct(11.98%)에 이어 2위였다.
- 약 4.8배 큰 OpenMath1(182만 건)보다 6개 벤치마크 모두에서 높아, 저자들은 데이터 양보다 출처와 형식이 중요하다고 해석했다.
- 파라미터를 바꾸지 않고 교과서 구조로 근거를 검색해 넣으면 TOME-LongForm pass@1이 13.25%(문맥 없음)에서 17.38%(명제+Gap QA)로 올랐다. 같은 토큰 예산을 쓴 무작위 동일 교재 검색은 14.00%였다.
- 저자들은 6개 과목·3개 데이터 규모에서 교과서 순서대로 학습하는 커리큘럼이 무작위 순서나 역순보다 일관되게 좋았다고 보고했다.
한계
저자들도 밝혔듯이 공개 데이터와의 비교는 여러 요인이 섞여 있어 '교과서 구조'만의 효과를 분리해 보여 주지 못한다. 데이터 추출·Gap 생성·품질 검사를 모두 LLM이 맡았고, TOME-LongForm 채점도 LLM 검증기에 의존한다. Gap QA는 생성 후보 중 19%만 남아 생성 품질의 편차가 크다. 기본 모델은 Qwen3-30B-A3B 하나로만 실험했다. 입력 본문이 중간에 잘려 있어 커리큘럼 실험의 세부 수치는 확인하지 못했다.
의미
수학 추론 데이터를 만들 때 데이터를 어떻게 조직하느냐도 중요한 변수일 수 있다는 근거를 준다. 교과서나 사내 매뉴얼처럼 구조를 가진 문서를 학습 데이터로 바꾸는 파이프라인을 설계할 때 참고할 수 있다. 저자들은 코퍼스를 공개할 예정이라고 밝혔다.
핵심 용어
- Gap QA
- 교과서 증명에서 생략되거나 암묵적으로 넘어간 추론 단계를 독립된 명제로 다시 쓰고, 그 증명까지 붙인 학습 데이터다.
- 커리큘럼 학습
- 학습 데이터를 무작위로 섞지 않고 쉬운 내용에서 어려운 내용 순서(여기서는 교과서 장 순서)로 제시하는 학습 방식이다.
- SFT(Supervised Fine-Tuning)
- 정답이 달린 입력-출력 쌍으로 사전학습 모델을 추가 학습시키는 파인튜닝 방식이다.
- pass@1
- 모델이 한 번 생성한 답이 맞을 확률이다. 여러 번 샘플링해 평균을 내서 추정한다.
원문
저자: Youqing Fang, Zhouqi Hua, Yinhao Tang, Yuzhe Gu, Lingkai Kong, Bin Liu, Weiming Zhang, Kai Chen, 외 · 게시 2026-10-29 · 라이선스 CC BY 4.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.